Logo do curso
Curso

Engenharia de Dados:

Pipeline de Dados Básico na Azure

Quero estudar na alura

8h

Para conclusão

49

Pessoas nesse curso

Certificado

De participação

Introdução_

O que você aprenderá_

  • Construa pipelines de dados de ponta a ponta na Azure, orquestrando atividades com o Data Factory.
  • Estruture um Data Lake conforme a arquitetura Medalha, organizando camadas Bronze e Silver.
  • Implemente Azure Functions em Python para processar e transformar dados e gerar arquivos Parquet.
  • Configure triggers Blob e HTTP e integre o Data Factory com Azure Functions para automatizar fluxos de dados.
  • Monitore execuções de pipeline, analise falhas e crie alertas e logs para depuração e observabilidade.
  • Utilize o Azure Synapse Analytics para consultar e validar dados armazenados em Data Lake.

Público alvo_

Profissionais, estudantes e entusiastas de engenharia de dados que desejam aprender a construir, orquestrar e monitorar pipelines de dados na Azure usando Data Factory, Data Lake, Azure Functions e Python.

Agnes Ruescas

Agnes Ruescas

linkedin

Engenheira de Dados, formada em Engenharia da Computação pela FIAP e pós-graduanda em Engenharia de Dados pela Universidade Presbiteriana Mackenzie. Atua na construção de pipelines, infraestrutura em nuvem e monitoramento de ambientes de dados. Com experiência em DevOps, traz uma visão prática sobre como colocar soluções de dados em produção com qualidade e escalabilidade, conectando teoria e mercado.

Curso atualizado em 22/06/2026

Ementa

  1. Preparando o ambiente e o Data Lake

    • Apresentação
    • Preparando o ambiente
    • O pipeline que vamos construir
    • Para saber mais: autenticação de dois fatores na nuvem
    • Implementando um pipeline de dados para a Buscante
    • Criando sua conta Azure
    • Escolhendo o plano ideal para a UseDev
    • Criando o Resource Group
    • Organizando recursos no e-commerce UseDev
    • Criando a Storage Account
    • Gerenciamento de armazenamento para CodeConnect
    • Estratégias de armazenamento para pacotes de viagem
    • Estruturando as camadas bronze e silver
    • Faça como eu fiz: Pipeline em Azure
    • O que aprendemos?
  2. Ingestão de dados no Data Lake

    • Conhecendo os dados de log
    • Para saber mais: formato jsonlines
    • Gerenciamento de logs para a plataforma ADOPET
    • Organizando dados por pastas
    • Organização de dados na Freelando
    • Enviando arquivos para a camada bronze
    • Validação de dados na Playcatch
    • Faça como eu fiz: ingestão de logs
    • O que aprendemos?
  3. Transformando dados com Azure Function

    • Criando a Function App
    • Para saber mais: planos de consumo do Azure Functions
    • Utilizando Azure Functions para personalizar ofertas na Jornada Viagens
    • Criando a função em Python
    • Implementando Azure Functions para otimizar o processamento de dados na Meteora
    • Limpando os dados de log
    • Limpeza de dados de transações financeiras no Bytebank
    • Dados para Parquet na silver
    • Otimização de inventário na UseDev com dados em Parquet
    • Faça como eu fiz: criar Azure Functions
    • O que aprendemos?
  4. Criando o primeiro pipeline no Data Factory

    • Criando o Azure Data Factory
    • Para saber mais: interface visual no Azure Data Factory
    • Otimização de processos logísticos na Hermex Log
    • Criando o primeiro pipeline
    • Automatizando a análise de feedback de clientes no Gatito Petshop
    • Conectando ao Data Lake
    • Conectando dados de projetos na CodeConnect
    • Executando o pipeline
    • Gerenciamento de dados de pacientes na Clínica Médica Voll
    • Faça como eu fiz: criar Data Factory
    • O que aprendemos?
  5. Orquestrando o pipeline completo

    • Configurando Azure Function para Data Factory
    • Para saber mais: deploy da Azure Function
    • Implementando um sistema de controle de acesso para o CodeChella
    • Criando um trigger no Data Factory
    • Sincronizando milhas com eventos de armazenamento
    • Encadeando as etapas do pipeline
    • Automatização de notificações de entrega na Hermex Log
    • Faça como eu fiz: integrar Azure Function
    • O que aprendemos?
  6. Publicando e executando o pipeline

    • Publicando o pipeline
    • Publicação de atualizações de segurança na Techsafe
    • Para saber mais: gerenciamento de variáveis de ambiente
    • Executando o pipeline completo
    • Monitoramento de dados no Buscante
    • Validando os dados gerados pelo pipeline
    • Validação de dados na CodeConnect
    • Faça como eu fiz: publicar, testar e validar
    • O que aprendemos?
  7. Consultando dados no Data Lake

    • Configurando o ambiente de consulta
    • Configurando o ambiente de dados para a Jornada Milhas
    • Escrevendo as primeiras queries
    • Para saber mais: agrupamento de dados SQL
    • Analisando padrões de acesso em plataformas de segurança
    • Validando os dados processados
    • Análise de dispositivos na Checklist
    • Faça como eu fiz: consulta e validação
    • O que aprendemos?
  8. Monitorando e finalizando o pipeline

    • Monitorando execuções no Data Factory
    • Para saber mais: validação de entrada em pipelines
    • Monitoramento de projetos na plataforma Freelando
    • Analisando logs e falhas
    • Identificando falhas no sistema de recompensas da Clickbonus
    • Configurando alertas básicos
    • Implementando alertas automáticos na plataforma Checklist
    • Faça como eu fiz: Monitorar e tratar falhas
    • O que aprendemos?
    • Conclusão

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Faça parte da nossa comunidade no discord!

Troque conhecimentos com a comunidade da Alura

Aprenda Engenharias e Arquiteturas de Dados com esse e outros cursos, comece agora!

Conheça os Planos para Empresas