Formações Data Science Apache Airflow
Formação Apache Airflow
Aprenda a criar, programar e monitorar seus pipelines de dados com o Apache Airflow
* Esta formação faz parte dos nossos cursos de Data Science
Quero Estudar na Alura
Para conclusão
Aprenda a criar, programar e monitorar seus pipelines de dados com o Apache Airflow. Esta formação vai te preparar para trabalhar com Engenharia de Dados utilizando a linguagem de programação Python e a ferramenta Apache Airflow.
Funciona como um guia de aprendizado para auxiliar pessoas interessadas em entrar no mercado de trabalho e também como mecanismo de consulta para profissionais experientes.
O Apache Airflow é uma ferramenta open source, escrita em Python, criada pelo Airbnb em 2014 e atualmente faz parte da Apache Software Foundation. Trata-se de um orquestrador de fluxos, ou seja, nos permite decidir em qual momento e em quais condições nosso programa irá rodar. É utilizada principalmente para criação, monitoramento e agendamento de pipeline de dados de forma programática.
Nessa formação, vamos aprender a instalar e conhecer a ferramenta Apache Airflow, entendendo e aplicando de forma prática conceitos como: DAGs, orquestração de pipelines e máquinas virtuais.
Você irá construir todo o processo de ETL e terá a oportunidade de se aprofundar nos conceitos de Data Lakes, tratamento e o carregamento de diferentes tipos de camadas.
Por fim, vamos focar nossos estudos nos executores do Airflow e também em como utilizar o Airflow no Kubernetes.
Para aproveitar melhor esse conteúdo, é importante que você já saiba programar em linguagem Python, conheça conceitos básicos de Linux e como executar comandos no terminal.
Conteúdos pensados para facilitar seu estudo
Formação completa para o mercado
Do zero ao sonhado emprego em sua área de interesse
Comece essa formação agora mesmo e capacite-se para seu próximo projeto!
Conheça os planos
Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^
Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^
Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.
Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.
Daniel é instrutor na escola de Dados e professor de Matemática, Física, Química e Inglês. Tem verdadeira paixão em aprender coisas e assuntos novos, e transmitir seus conhecimentos.
Daniel é instrutor na escola de Dados e professor de Matemática, Física, Química e Inglês. Tem verdadeira paixão em aprender coisas e assuntos novos, e transmitir seus conhecimentos.
Neste passo inicial, preparamos um conteúdo para ajudar você a conhecer melhor o Apache Airflow e como iniciar um projeto com essa ferramenta.
Na primeira etapa dessa jornada, você vai aprender a configurar e instalar o Airflow, além de compreender seus principais conceitos e funcionalidades. No final dessa etapa, você será capaz de desenvolver e orquestrar seu primeiro pipeline de dados.
Curso Apache Airflow: orquestrando seu primeiro pipeline de dados
08hAgora que você já aprendeu a orquestrar seu primeiro pipeline de dados, vamos construir um novo pipeline que fará a extração e a transformação de dados, combinando a ferramenta Airflow para orquestração do pipeline e a ferramenta Spark para transformação dos dados.
Além disso, vamos armazenar esses dados em um Data Lake. Completando assim todas as etapas de um ETL (Extract, Transform, Load). No final dessa etapa, você será capaz de desenvolver e orquestrar um pipeline de dados com um processo ETL.
Curso Apache Airflow: extração de dados
10h
Curso Apache Airflow: transformação de dados com Spark
10hEssa etapa mostra como configurar e utilizar os diferentes executores do Airflow. Estes executores são mecanismos que lidam com a execução de tarefas. O Airflow possui vários destes mecanismos e a diferença entre eles se resume aos recursos que possuem e à forma como trabalham na execução das tarefas.
Durante essa etapa você vai aprender a configurar diferentes executores, como: Local, Celery e Kubernetes.
Curso Aprofundando no Airflow: Executores Local e Celery
08h
Curso Aprofundando no Airflow: Executor Kubernetes
08hEscola
Além dessa, a categoria Data Science conta com cursos de Ciência de dados, BI, SQL e Banco de Dados, Excel, Machine Learning, NoSQL, Estatística,e mais...
Conheça a EscolaO Plano Plus evoluiu: agora com Luri para impulsionar sua carreira com os melhores cursos e acesso à maior comunidade tech.
2 anos de Alura
Matricule-se no plano PLUS 24 e garanta:
Jornada de estudos progressiva que te guia desde os fundamentos até a atuação prática. Você acompanha sua evolução, entende os próximos passos e se aprofunda nos conteúdos com quem é referência no mercado.
Programação, Data Science, Front-end, DevOps, Mobile, Inovação & Gestão, UX & Design, Inteligência Artificial
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
Acesso à inteligência artificial da Alura.
No Discord, você participa de eventos exclusivos, pode tirar dúvidas em estudos colaborativos e ainda conta com mentorias em grupo com especialistas de diversas áreas.
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
Luri Vision chegou no Plano Pro: a IA da Alura que enxerga suas dúvidas, acelera seu aprendizado e conta também com o Alura Língua que prepara você para competir no mercado internacional.
2 anos de Alura
Todos os benefícios do PLUS 24 e mais vantagens exclusivas:
Chat, busca, exercícios abertos, revisão de aula, geração de legenda para certificado.
Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
Escolha os ebooks da Casa do Código, a editora da Alura, que apoiarão a sua jornada de aprendizado para sempre.
Para quem quer atingir seus objetivos mais rápido: Luri Vision ilimitado, vagas de emprego exclusivas e mentorias para acelerar cada etapa da jornada.
2 anos de Alura
Todos os benefícios do PRO 24 e mais vantagens exclusivas:
Catálogo de tecnologia para quem é da área de Marketing
Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais de forma ilimitada.
Escolha os ebooks da Casa do Código, a editora da Alura, que apoiarão a sua jornada de aprendizado para sempre.
Conecte-se ao mercado com mentoria individual personalizada, vagas exclusivas e networking estratégico que impulsionam sua carreira tech para o próximo nível.
