12h

Para conclusão

3097

Pessoas nesse curso

9.2

Avaliação média

Certificado

De participação

Introdução_

O que você aprenderá_

  • Realize a ingestão de dados brutos
  • Entenda como aplicar processos de engenharia de dados
  • Produza uma análise estruturada com base nos dados lidos
  • Entenda para que realizar a paralelização de processos de transformações em dados brutos
  • Aplique as regras de negócio estabelecidas em transformações nos dados ingeridos
  • Una bases diferentes para que tenham correlações que possam ser extraídas
  • Persista os resultados das transformações para processos que utilizarão os dados tratados

Público alvo_

Pessoas que trabalham com ciência, engenharia ou análise de dados que querem melhorar a forma de realizar a preparação de dados para outros processos ou aprender um novo ferramental para trabalhar com engenharia de dados.

Pedro Felipe Teixeira

Pedro Felipe Teixeira

Pedro é formado em Mecatrônica Industrial, com mestrado em Energias Renováveis. Atuou na indústria e na construção civil com aplicações em Internet das Coisas e análise de dados, como desenvolvedor de software e atualmente trabalha como arquiteto de soluções, trabalhando com processos de Engenharia de Dados e Engenharia de Machine Learning no mercado de risco de crédito. Professor desde cedo, entende que quem mais aprende é quem mais compartilha.

Ementa

  1. Data Pipeline

    • Apresentação
    • Data Pipeline
    • Dados brutos
  2. Pipeline e transformações

    • Apache Beam
    • Pipeline casos de dengue
    • De texto para lista
  3. Dados de dengue

    • De lista para dicionário
    • Tratando datas
    • Chave por estado
  4. Dados de chuvas

    • mm por estado, ano e mês
    • Somar dados
    • Pipeline de chuvas
  5. Agrupando e retornando tupla

    • Chave por estado ano mês
    • Agrupar e somar chuva
    • Retornar tupla
  6. Analisando e juntando pcollections

    • Análise de Pipelines
    • Mescla com CoGroupByKey
    • Filtro
  7. Persistência dos resultados

    • Desagrupamento
    • Preparo para escrita
    • Escrita
    • Análise
    • Conclusão

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Faça parte da nossa comunidade no discord!

Troque conhecimentos com a comunidade da Alura

nossos alunos e alunas

Experiências de quem já mergulhou com a gente.

Curso incrível, com ótimos exemplos e uma excelente didática.

Apache Beam: Data Pipeline com Python

Fernando

Experiência boa. O curso muito bom e um fato que achei interessante é que a ferramenta permite a construção de arquivos Parquet e Avro pouco falado aqui nos cursos da Alura. Gostaria de ver cursos mais voltados para o ambiente Hadoop.

Apache Beam: Data Pipeline com Python

Luiz Peralta

Este conteúdo venho procurando faz um bom tempo, volta e meia pesquisa na plataforma, fiquei extremamente satisfeito, pois me abriu de fato os olhos para o poder do Beam e sua flexibilidade. Eu tenho muito a agradecer ao Instrutor pela metodologia de ensinar através de uma caso de uso efetivo que pode ser replicado no dia-a-dia e obviamente agradecer a a Alura por fomentar este conteúdo.Aí só fica a pergunta: Quando teremos mais conteúdos de Engenharia de Dados com o Apache Beam e ouros temas?

Apache Beam: Data Pipeline com Python

Luciano Teixeira

Aprenda Engenharias e Arquiteturas de Dados com esse e outros cursos, comece agora!

Conheça os Planos para Empresas