Logo do curso
Curso

AWS Data Lake:

processando dados com AWS EMR

Quero estudar na alura

8h

Para conclusão

960

Pessoas nesse curso

9.1

Avaliação média

Certificado

De participação

Introdução_

O que você aprenderá_

  • Construa uma pipeline para processamento de dados na AWS
  • Aprenda a construir um ETL e criar camada gold de dados
  • Conheça o AWS EMR e sua forma de cobrança
  • Saiba como provisionar a infraestrutura do AWS EMR configurando um cluster
  • Aprenda a construir um código Spark utilizando diferentes bibliotecas
  • Entenda como utilizar o AWS EMR de forma remota no Windows via Putty

Público alvo_

Pessoas Engenheiras de Dados; profissionais que desejam aprendar mais sobre AWS; pessoas que desejam construir uma pipeline de ETL e Engenharia de Dados para acrescentar ao portfólio.

Ana Hashimoto

Ana Hashimoto

linkedin

Ana é Administradora, Especialista em Ciência de Dados e Big Data e possui certificações AWS e Scrum. Atualmente é Coordenadora de Engenharia de Dados no Itaú Unibanco, Instrutora de Engenharia de Dados na Alura e Mentora de Carreira. Além disso, em seu tempo livre, gosta de viajar e assistir séries.

Curso atualizado em 23/05/2024

Ementa

  1. Preparando o ambiente

    • Entendendo a pipeline
    • Criação de tabela para armazenar a camada gold
  2. Criando e configurando o cluster AWS EMR

    • Conhecendo o AWS EMR e seu Pricing
    • Criação de cluster EMR - Hardware e Software
    • Criação de cluster EMR - Networking e Security
  3. Construindo script Spark

    • Construindo script PySpark - Transformação dos dados
    • Construindo script PySpark - Selecionando colunas desejadas e gravando no Data Lake
    • Adicionando step de execução no console do AWS EMR
  4. Visualizando o resultado e permissionamento

    • Executando o Job e visualizando o resultado
    • Configurando permissões para execução local (VPC e IAM)
  5. Executando o Job e conferindo

    • Executando Job Spark via CLI e visualizando resultados
    • Excluindo os recursos

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Este e mais 3 cursos fazem parte das seguintes formações

Nossas formações são uma sequência de cursos e conteúdo para você se profissionalizar e se tornar quem o mercado procura!

Faça parte da nossa comunidade no discord!

Troque conhecimentos com a comunidade da Alura

Aprenda Engenharias e Arquiteturas de Dados com esse e outros cursos, comece agora!

Conheça os Planos para Empresas