O que você aprenderá_

Entenda a arquitetura Lakehouse do Databricks e as camadas de governança aplicáveis a dados estruturados e não estruturados.
Implemente pipelines de ETL e realize transformações de dados usando Spark SQL e recursos do Delta Lake.
Realize feature engineering com as APIs do Databricks e gerencie features integradas ao MLflow.
Treine, compare e otimize modelos utilizando técnicas de tuning (Hyperopt/Optuna) e AutoML para tasks como forecasting.
Implemente estratégias de deploy para batch, streaming e inferência em tempo real, incluindo endpoints escaláveis e UDFs no Spark.
Automatize pipelines e processos de MLOps com GitHub Actions, YAML e Infraestrutura como Código (DABs), assegurando monitoramento, detecção de drift e retreino.

Público alvo_

Profissionais e estudantes de dados (cientistas de dados, engenheiros de dados e engenheiros de Machine Learning) que desejam dominar o ciclo completo de projetos de ML no Databricks, incluindo ingestão, transformação, feature engineering, treinamento, deploy e práticas de MLOps.

João Manoel Herrera Pinheiro

Engenheiro e Mestre pela Universidade de São Paulo (USP), atualmente é doutorando com pesquisa focada em visão computacional e deep learning. Mais de 5 anos de experiência no mercado como Senior Data Engineer e Data Scientist em grandes empresas de tecnologia e instituições financeiras da América Latina, incluindo Cielo e Itaú Unibanco, projetando plataformas de dados de alto desempenho e infraestrutura escalável para atender a demandas complexas de aprendizado de máquina.

Curso atualizado em 16/08/2026

Já estuda na Alura?

Comece o curso agora

Ementa

A plataforma Databricks e a arquitetura Lakehouse para ML
- Apresentação
- Preparando o ambiente
- Criando conta no Databricks
- Arquitetura Databricks
- Arquitetura Data Lakehouse
- Explorando Databricks
- Arquitetura Medallion
- Projeto de Ingestão
- Implementando governança de dados no Bytebank
- Para saber mais: gerenciamento de volumes no databricks
- Otimizando a experiência do usuário na Calmaria Spas
- O que aprendemos?
Feature Engineering com Databricks Feature Store
- Databricks Feature Store
- Documentação da Feature Store
- Criando Features no Databricks
- Feature Store no Databricks
- Criando Features do Projeto no Databricks
- Otimização de features para o Gatito Petshop
- Para saber mais: merge de features no Databricks
- Governança de features no Gatito Petshop
- O que aprendemos?
Treinamento de modelos: AutoML, MLflow integrado e SparkML
- Treinamento de Modelos
- Treinamento de Modelos no Databricks
- MLflow no Databricks
- SparkML e Tuning de Hiperparametros no Databricks
- Treinando Modelos do Projeto de Recomendação
- Para saber mais: FeatureEngineeringClient.log_model()
- Aprimorando recomendações de projetos na CodeConnect
- Gerenciamento de versões de modelos na CodeConnect
- O que aprendemos?
Model Serving: deployando modelos como endpoints escaláveis
- Deploy de Modelos no Databricks
- Disponibilizando Modelo de ML no Catalogo Unity
- Deploy do Modelo em Batch
- Para saber mais: uso de spark udf com mlflow.pyfunc
- Criando Endpoint e Deploy em Real Time
- Implementando modelos de Machine Learning para otimizar rotas de entrega
- Implementando assinatura de modelo para segurança em casas inteligentes
- O que aprendemos?
Monitoramento com Lakehouse Monitoring e retraining automatizado
- Monitoramento de Modelos e Tipos de Drift
- Simulando Dados Produtivos e Monitoramento Drift
- Criando os Jobs de Dados Produtivos e Monitoramento de Drift no Databricks
- Criando alertas no Databricks
- Criando Alertas no Databricks
- Para saber mais: simulação de drift com dados sintéticos
- Criando Re-treino Automatizado no Databricks
- IaC no Databricks e Exportando YAMLs dos Jobs
- Databricks Asset Bundles
- Monitoramento de engajamento na CodeConnect
- Monitoramento de Drift em Recomendações de Vídeos
- O que aprendemos?
Pipeline MLOps completo, CI/CD e o Databricks no contexto da stack
- Pipeline Completo de MLOps no Databricks
- Configurando o GitHub Actions e Criando os Arquivos YML
- GitHub Actions no Databricks
- Pipeline Final e Codigos Produtivos
- Construindo o Pipeline Final e Realizando o Deploy no Databricks
- Ciclo de vida de um modelo de ML
- Gerenciamento de Acessos Unity Catalog no Databricks
- Controle de Acessos no Unity Catalog
- Implementando CI/CD para receitas culinárias
- Para saber mais: rollback automático em pipelines ci/cd
- Implementando segurança no pipeline de CI/CD para a Petpark
- Conclusão
- O que aprendemos?