O que você aprenderá_

Implemente transações ACID em tabelas Delta para garantir a integridade das escritas.
Realize operações de update, delete e upsert (Merge) para manter a consistência dos dados.
Investigue o histórico de alterações usando Time Travel e DESCRIBE HISTORY para auditoria e recuperação.
Construa a arquitetura Medalhão (Bronze, Silver, Gold) para validação, deduplicação e transformação de pedidos.
Implemente ingestão incremental com Auto Loader e Spark Structured Streaming, preservando evolução de schema e rastreabilidade.
Aplique práticas de governança com Unity Catalog e execute manutenção (Optimize, Vacuum) para desempenho e limpeza.

Público alvo_

Profissionais de engenharia de dados, engenheiros de dados em formação, analistas de dados e desenvolvedores que trabalham com pipelines e querem aprender práticas transacionais, versionamento e governança usando Delta Lake em ambientes Databricks. É recomendado conhecimento prévio em PySpark e conceitos básicos de pipelines de dados.

Agnes Ruescas

Engenheira de Dados, formada em Engenharia da Computação pela FIAP e pós-graduanda em Engenharia de Dados pela Universidade Presbiteriana Mackenzie. Atua na construção de pipelines, infraestrutura em nuvem e monitoramento de ambientes de dados. Com experiência em DevOps, traz uma visão prática sobre como colocar soluções de dados em produção com qualidade e escalabilidade, conectando teoria e mercado.

Curso atualizado em 04/09/2026

Já estuda na Alura?

Comece o curso agora

Ementa

Construindo um pipeline Lakehouse
- Apresentação
- Preparando o ambiente
- O problema dos pipelines tradicionais
- Gerenciamento de dados no Petpark
- Arquitetura Lakehouse e o papel do Delta Lake
- Organização de dados no SwiftBank
- Criando a primeira tabela Delta
- Atualização de receitas no Cookin'UP
- Entendendo as transações ACID na prática
- Para saber mais: tratamento de erros em escrita no delta lake
- Histórico de recompensas no Clickbonus
- Faça como eu fiz: tabela Delta e ACID
- O que aprendemos?
Trabalhando com tabelas Delta
- Criando e carregando tabelas Delta
- Atualização de inventário na Meteora
- Atualizando dados com Update e Delete
- Garantindo a qualidade dos dados no Cinetopia
- Merge realizando Upserts de forma eficiente
- Integração de dados de receitas no Cookin'UP
- Utilizando IA para criar e revisar operações Delta
- Para saber mais: revisão de merge com IA
- Revisando a sincronização de contatos na Indexa
- Faça como eu fiz: operações Delta Lake
- O que aprendemos?
Versionamento e confiabilidade dos dados
- Explorando o histórico de alterações com DESCRIBE HISTORY
- Gerenciando histórico de transações no Petpark
- Recuperando versões com Time Travel
- Utilizando versões anteriores para resolver conflitos no Petpark
- Mantendo tabelas Delta organizadas
- Para saber mais: compactação automática no Delta Lake
- Otimizando a performance do Clickbonus
- Validando a qualidade dos dados antes da escrita
- Validação de dados no clube de vantagens Clickbonus
- Faça como eu fiz: Delta Lake e Time Travel
- O que aprendemos?
Construindo a arquitetura Medalhão
- Conhecendo a arquitetura Medalhão
- Implementando a arquitetura Medalhão na ADOPET
- Construindo a camada Bronze
- Gerenciamento de dados em camadas para HomeHub
- Transformando dados na camada Silver
- Para saber mais: uso de janela para deduplicação
- Garantindo a qualidade dos dados na UseDev
- Disponibilizando dados na camada Gold
- Otimização de tarefas na plataforma Checklist
- Boas práticas de organização entre camadas no Databricks
- Otimização de entregas com a arquitetura Medalhão na Hermex Log
- Faça como eu fiz: pipeline Medalhão
- O que aprendemos?
Automatizando a ingestão com Auto Loader
- O desafio da ingestão incremental
- Gerenciamento de estoque no Gatito Petshop
- Conhecendo o Auto Loader
- Escolhendo a estratégia de ingestão de dados para a Jornada Viagens
- Implementando a ingestão incremental
- Gerenciamento de inventário no Serenatto Café & Bistrô
- Batch x Incremental quando utilizar cada abordagem
- Para saber mais: gatilho available now no spark streaming
- Otimizando a gestão de tarefas no aplicativo Fokus
- Conclusao
- Faça como eu fiz: ingestão incremental
- O que aprendemos?