10h

Para conclusão

3319

Pessoas nesse curso

8.9

Avaliação média

Certificado

De participação

Introdução_

O que você aprenderá_

  • Faça extração de dados de uma API
  • Crie um Hook para fazer um conexão
  • Crie um Operador para extrair e armazenar dados
  • Crie um DAG para ser orquestrado pelo Airflow
  • Configure sua orquestração de extração com o Airflow

Público alvo_

Pessoas interessandas em criar um pipeline de extração de dados com o a ferramenta Airflow.

Daniel Siqueira

Daniel Siqueira

linkedin

Daniel é instrutor na escola de Dados e professor de Matemática, Física, Química e Inglês. Tem verdadeira paixão em aprender coisas e assuntos novos, e transmitir seus conhecimentos.

Curso atualizado em 13/06/2023

Ementa

  1. Pipeline de dados

    • Conhecendo o projeto
    • Data Pipeline
  2. Fonte de dados

    • Extração de dados
    • Script de extração
    • Lendo o JSON
    • Unindo páginas do Twitter
  3. Lidando com conexões

    • Setup Airflow
    • Conceito do Hook
    • Conexão Twitter webserver
    • Construindo o Hook
    • Paginate
    • Testando o Hook
  4. Tarefa de extração

    • Conceito do Operator
    • Construindo o Operator
    • Salvando os dados
    • Padronizando a saída de dados
    • Estrutura do Data Lake
  5. Orquestração Airflow

    • Construindo o DAG
    • Agendando o DAG

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Este e mais 4 cursos fazem parte das seguintes formações

Nossas formações são uma sequência de cursos e conteúdo para você se profissionalizar e se tornar quem o mercado procura!

Faça parte da nossa comunidade no discord!

Troque conhecimentos com a comunidade da Alura

Aprenda Engenharias e Arquiteturas de Dados com esse e outros cursos, comece agora!

Conheça os Planos para Empresas