Logo do curso
Curso

Apache Airflow:

transformação de dados com Spark

Quero estudar na alura

10h

Para conclusão

2140

Pessoas nesse curso

9.2

Avaliação média

Certificado

De participação

Introdução_

O que você aprenderá_

  • Entenda os motivos para considerar o uso da arquitetura de medalhas no seu Data Lake
  • Saiba como atualizar um pipeline de dados que é orquestrado pelo Airflow
  • Implemente a transformação de dados para a camadas Silver
  • Execute a integração completa entre o Spark e o Airflow
  • Faça a refinação dos dados para a camada Gold

Público alvo_

Pessoas interessadas em incrementar um pipeline de dados para a transformação de dados utilizando Spark e o Airflow.

Igor Nascimento Alves

Igor Nascimento Alves

github

linkedin

Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.

Curso atualizado em 11/07/2023

Ementa

  1. Contexto Data Lake

    • Proposta do projeto de transformação de dados
    • Reestruturando o Data Lake (Bronze, Silver, Gold)
    • Pipeline atual
  2. Explorando com Spark

    • Instalando o PySpark
    • Explorando os dados
    • DataFrames Tweets
    • DataFrame Users (resposta desafio)
    • Rodando scripts
    • Testando nosso script
  3. Orquestrando o Spark

    • Operador Spark
    • Conexão Spark-Airflow
    • Carregando dados
  4. Refinando o projeto

    • Criando a camada Bronze
    • Pasta relativas
  5. Dados refinados

    • Extraindo interações
    • Criando um novo operador
    • Atualizando nossa DAG

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Este e mais 4 cursos fazem parte das seguintes formações

Nossas formações são uma sequência de cursos e conteúdo para você se profissionalizar e se tornar quem o mercado procura!

Faça parte da nossa comunidade no discord!

Troque conhecimentos com a comunidade da Alura

Aprenda Engenharias e Arquiteturas de Dados com esse e outros cursos, comece agora!

Conheça os Planos para Empresas