O que você aprenderá_

Construa um pipeline de ingestão e processamento de eventos que integra Apache Kafka e Spark Structured Streaming.
Estruture e transforme mensagens JSON em DataFrames tipados para permitir análises e operações em tempo real.
Implemente janelas temporais, watermarks e modos de saída para calcular métricas consistentes com Event Time e Processing Time.
Aplique regras de negócio e agregações contínuas para gerar métricas relevantes de e‑commerce durante o fluxo.
Garanta tolerância a falhas e recuperação de estado por meio de checkpointing e políticas de persistência.
Armazene resultados em arquivos Parquet e publique métricas em tópicos Kafka para consumo por outras aplicações.

Público alvo_

Profissionais, engenheiros de dados e estudantes que desejam aprender a construir pipelines de streaming para transformar e disponibilizar dados em tempo real. Recomenda-se conhecimento básico em Python, PySpark e conceitos de engenharia de dados.

Agnes Ruescas

Engenheira de Dados, formada em Engenharia da Computação pela FIAP e pós-graduanda em Engenharia de Dados pela Universidade Presbiteriana Mackenzie. Atua na construção de pipelines, infraestrutura em nuvem e monitoramento de ambientes de dados. Com experiência em DevOps, traz uma visão prática sobre como colocar soluções de dados em produção com qualidade e escalabilidade, conectando teoria e mercado.

Curso atualizado em 21/08/2026

Já estuda na Alura?

Comece o curso agora

Ementa

Conhecendo a arquitetura de streaming
- Apresentação
- Preparando o ambiente
- Projeto e arquitetura
- Implementando processamento em tempo real para agendamentos de spa
- O que é Apache Kafka
- Implementando Apache Kafka na Clínica Médica Voll
- Conceitos de tópico, producer e consumer
- Gerenciamento de eventos em uma plataforma de podcasts
- Preparando o ambiente
- Para saber mais: uso de volumes no Docker Compose
- Otimização do sistema de recomendação de livros na Buscante
- Faça como eu fiz: pipeline Kafka e Spark
- O que aprendemos?
Construindo o primeiro pipeline
- Conhecendo os eventos do projeto
- Analisando eventos de reprodução na Playcatch
- Gerando eventos com Producer Kafka
- Para saber mais: configuração de endpoints no kafka
- Gerenciamento de fluxo de dados em tempo real para pacotes de viagem
- Consumindo eventos
- Sincronizando portfólios digitais com Kafka
- Lendo dados com Spark Structured Streaming
- Implementando um sistema de monitoramento de pedidos no Serenatto
- Primeiro pipeline funcionando
- Implementando um pipeline de pedidos em tempo real para a Petpark
- Faça como eu fiz: pipeline de streaming
- O que aprendemos?
Transformando eventos em dados
- Entendendo a estrutura das mensagens
- Para saber mais: uso de from_json no pyspark
- Analisando dados de consumo no Serenatto Café & Bistrô
- Parseando JSON com schem
- Analisando dados de treinos na Runner Circle
- Tratando e enriquecendo os dados
- Garantindo a qualidade dos dados no Gatito Petshop
- Validando o pipeline
- Enriquecimento de dados no Gatito Petshop
- Faça como eu fiz: pipeline de eventos
- O que aprendemos?
Gerando métricas em tempo real
- Event Time x Processing Time
- Gerenciamento de tempo em promoções de livros
- Windowing e agregações
- Para saber mais: tipos de janelas no spark streaming
- Analisando a produtividade da equipe com janelas temporais
- Construindo métricas de negócio
- Monitorando a carga de trabalho com janelas temporais
- Validando os resultados
- Monitoramento de vendas de ingressos no CodeChella
- Faça como eu fiz: métricas com janelas
- O que aprendemos?
Tratando eventos atrasados
- Late data
- Impacto de dados atrasados na Jornada Viagens
- Watermark na prática
- Para saber mais: gestão de estado com watermark
- Gerenciamento de eventos atrasados na CodeConnect
- Ajustando janelas
- Ajustando a tolerância de eventos atrasados na Techsafe
- Comparando resultados
- Gerenciamento de eventos atrasados na plataforma Zoop
- Faça como eu fiz: configurar Watermark
- O que aprendemos?
Construindo um pipeline confiável
- Output Modes
- Escolhendo o modo de saída para relatórios financeiros no SwiftBank
- Triggers
- Gerenciamento de processamento de dados em tempo real no Listin
- Checkpointing
- Para saber mais: gerenciamento de estado em spark structured streaming
- Garantindo a continuidade do processamento de dados na ADOPET
- Simulando falhas e recuperação
- Garantindo a continuidade do streaming de vídeos na Screen Match
- Faça como eu fiz: pipeline Spark confiável
- O que aprendemos?
Persistindo e evoluindo o projeto
- Escrevendo em Parquet
- Otimização de consultas analíticas em portfólios
- Publicando métricas em outro tópico Kafka
- Para saber mais: entrega pelo menos uma vez
- Integração de dados de estoque em tempo real na plataforma Zoop
- Boas práticas
- Estruturando dados para personalização de serviços no Petpark
- Faça como eu fiz: métricas em streaming
- O que aprendemos?
Conclusão
- Revisando a arquitetura
- Implementando um pipeline de eventos para o Fokus
- Executando o pipeline completo
- Para saber mais: consumer groups no kafka
- Análise de transações de milhas na Jornada Milhas
- Conclusão
- Faça como eu fiz: pipeline em tempo real
- O que aprendemos?