50h

Para conclusão

6
Cursos

Conheça a formação de Primeiros passos com Engenharia de Dados

Aprenda a criar seu primeiro pipeline de extração, transformação e carregamento utilizando Python, fazer consultas e extrações de dados com SQL e criar seu primeiro pipeline com Airflow, se prepare para a área de Engenharia de Dados para os desafios do dia a dia profissional, usando Python, SQL, NoSQL e outras ferramentas.

Funciona como um guia de aprendizado para auxiliar pessoas interessadas em entrar no mercado de trabalho e também como mecanismo de consulta para profissionais experientes.

O QUE É ENGENHARIA DE DADOS?

A Engenharia de Dados desempenha um papel crucial na indústria da tecnologia, permitindo que empresas de diversos setores coletem, armazenem, processem e analisem grandes volumes de dados em tempo real.

Profissionais especializados nessa área são responsáveis por projetar, implementar e manter a infraestrutura necessária para o gerenciamento eficiente dos dados de uma organização. Eles criam fluxos de dados que integram, limpam e transformam informações provenientes de diferentes fontes e formatos, possibilitando a geração de insights valiosos para a tomada de decisões empresariais.

O QUE VAMOS APRENDER?

Nesta formação, você terá a oportunidade de adquirir conhecimentos essenciais para ingressar na área de Engenharia de Dados. Exploraremos diversos tópicos fundamentais, como Python, SQL e pipelines de dados.

Iniciaremos aprendendo a construir pipelines ETL (Extract, Transform e Load) utilizando a linguagem Python, além de compreender como aplicar Programação Orientada a Objetos (POO) para tornar seus códigos mais legíveis.

Além disso, nesta formação, você terá a oportunidade de compreender a diferença entre bancos de dados SQL e NoSQL, assim como os principais conceitos relacionados a esses sistemas de armazenamento de dados.

Por fim, você consolidará todos os conhecimentos adquiridos ao longo dessa formação, desenvolvendo um pipeline completo de Engenharia de Dados. Você terá um primeiro contato com uma das ferramentas de gerenciamento de fluxos de dados, o Airflow. Essa experiência irá ampliar ainda mais suas habilidades e prepará-lo para enfrentar desafios reais na área de dados.

QUAIS SÃO OS PRÉ-REQUISITOS PARA FAZER ESSA FORMAÇÃO?

Para aproveitar melhor esse conteúdo, é importante que você já tenha conhecimento dos conceitos-chave do Python aplicados à área de Data Science de forma abrangente.

Se você está com dúvida de qual sequência seguir nas formações de Engenharia de Dados, sugerimos que comece seus estudos pela formação Python para Data Science, em seguida faça a formação Primeiros passos com Engenharia de Dados. Após isso, siga pelo caminho de sua preferência: faça as formações Apache Spark com Python e Engenharia de Dados com Databricks, a formação AWS Data Lake: Construindo Pipelines na AWS e/ou a formação Apache Airflow. Seja qual for o caminho que você seguir, finalize a jornada com a formação Fundamentos de Governança de Dados.

Por que estudar esta formação?

  • Guia de aprendizado

    Conteúdos pensados para facilitar seu estudo

  • Do básico ao avançado

    Formação completa para o mercado

  • Você dentro do mercado

    Do zero ao sonhado emprego em sua área de interesse

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Com quem você vai aprender?

  • Danielle Oliveira

    Danielle é formada em Sistemas de Informação. Fez parte do Scuba Team. Atualmente é instrutora de Data Science, nas áreas de Banco de dados, Business Intelligence e NoSQL. É apaixonada por livros, música e tecnologia.

  • Danielle Oliveira

    Danielle é formada em Sistemas de Informação. Fez parte do Scuba Team. Atualmente é instrutora de Data Science, nas áreas de Banco de dados, Business Intelligence e NoSQL. É apaixonada por livros, música e tecnologia.

  • Millena Gená Pereira

    Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^

  • Millena Gená Pereira

    Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^

  • Igor Nascimento Alves

    Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.

  • Igor Nascimento Alves

    Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.

  • Ana Duarte

    Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.

  • Ana Duarte

    Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.

Passo a passo
  1. 1 Python para Engenharia de Dados

    Neste passo inicial, o objetivo é que você se familiarize com a área da Engenharia de Dados, explorando o uso da linguagem Python em análise e gerenciamento de dados.

    • Curso Pipeline de dados: combinando Python e orientação a objeto

      12h
      • Construa um pipeline de dados com Python
      • Refatore um código com orientação a objeto
      • Transforme dados utilizando apenas Python
      • Reconheça os benefícios de criar um pipeline reutilizável
      • Estruture códigos Python em funções
    • Curso Python e APIs: conhecendo a biblioteca Requests

      08h
      • Desenvolva um pipeline ETL utilizando a biblioteca Requests do Python
      • Empregue os recursos da biblioteca Requests para extrair dados da API do GitHub
      • Utilize as requisições GET, POST, PUT e DELETE
      • Identifique diferentes status codes
      • Realize o processo de autenticação na API do GitHub
      • Execute o processo de paginação
      • Exercite os principais conceitos de POO
  2. 2 Sistemas de armazenamento de dados

    Vamos embarcar em uma jornada para aprender a modelar um banco de dados relacional utilizando SQL, usando o SGBD MySQL e suas principais cláusulas. Demonstraremos como criar esquemas e tabelas, definir chaves primárias e estrangeiras, além de realizar filtros, inserir e excluir informações, utilizar funções de agregação e explorar outros conceitos e técnicas essenciais.

    Logo em seguida, introduziremos o MongoDB, um banco de dados orientado a documentos que armazena informações em formato JSON. Você aprenderá a importar dados de arquivos JSON, realizar buscas, atualizar registros e remover informações.

    • Curso Modelagem de banco de dados relacional: entendendo SQL

      06h
      • Conheça a importância da linguagem SQL para implentar um modelo relacional
      • Aprenda a instalar os componentes necessários para utilizar o MySQL
      • Entenda a criação de esquema e tabelas
      • Conheça como alterar tabelas para adicionar restrições e estabelecer a integridade referencial
      • Aprenda a definir a chave primária e a chave estrangeira de uma tabela
      • Aprenda três diferentes maneiras de inserir informações em tabelas
      • Conheça como ter informações específicas usando o WHERE para criar filtros
      • Entenda o processo de deletar e atualizar informações usando SQL
      • Saiba usar funções de agregações para trazer métricas nas consultas
      • Compreenda a junção entre tabelas com o INNER JOIN, LEFT JOIN e RIGHT JOIN
    • Curso MongoDB: conhecendo um banco de dados NoSQL

      08h
      • Conheça o NoSQL
      • Realize a instalação do MongoDB
      • Crie banco de dados e coleções
      • Importe dados de um arquivo JSON
      • Realize buscas utilizando o método Find
      • Atualize os dados utilizando o método Update
      • Remova dados utilizando o método Delete
  3. 3 Iniciando um projeto de Engenharia de Dados

    Neste terceiro passo, temos a intenção de orientá-lo na compreensão de um elemento crucial da Engenharia de Dados: o pipeline de dados. Este é um conceito essencial para o gerenciamento eficiente de dados em qualquer projeto de Ciência de Dados.

    Nessa etapa, você construirá seu próprio pipeline de dados utilizando Python.

    • Curso Pipeline de dados: integrando Python com MongoDB e MySQL

      08h
      • Aprenda a construir um pipeline de dados com Python
      • Entenda como configurar o MongoDB Atlas
      • Saiba como utilizar a biblioteca Pymongo
      • Aplique transformações nos dados
      • Realize a instalação e configuração do MySQL no WSL
      • Compreenda como conectar o MySQL ao Python
      • Estruture códigos Python em funções
  4. 4 Conhecendo ferramentas de Big Data

    Neste quarto passo, você mergulhará no mundo da orquestração de pipelines de dados, um componente fundamental na engenharia de dados. Aqui, o desafio será extrair dados climáticos usando uma API, empregando o Apache Airflow. Você não apenas aprenderá sobre DAGs, mas também sobre Tasks e Operadores, aplicando esses conceitos em um projeto prático e envolvente. Esse projeto não só solidificará seu entendimento, mas também servirá como um excelente item de portfólio, demonstrando suas habilidades recém-adquiridas.

    Ao concluir esta fase, você terá não apenas uma compreensão sólida dos pipelines de dados, mas também prática hands-on com uma das ferramentas mais demandadas do mercado. Isso te capacitará a construir seus próprios pipelines de dados de forma eficiente e inovadora.

    • Curso Apache Airflow: orquestrando seu primeiro pipeline de dados

      08h
      • Aprenda a extrair dados climáticos utilizando uma API
      • Entenda o que é o Apache Airflow e como utilizá-lo
      • Descubra o que são DAGs, Taks e Operators
      • Conheça os principais componentes da arquitetura do Airflow
      • Saiba quais são os principais recursos da interface do Airflow
      • Desenvolva seu primeiro DAG

Escola

Data Science

Além dessa, a categoria Data Science conta com cursos de Ciência de dados, BI, SQL e Banco de Dados, Excel, Machine Learning, NoSQL, Estatística,e mais...

Conheça a Escola

Comece a estudar agora na maior escola de tecnologia do país

Conheça os Planos para Empresas