Engenharia de Dados: Pipeline de Dados Básico na Azure

Preparando o ambiente e o Data Lake - Apresentação

Apresentando a instrutora e fazendo a audiodescrição

Olá! Muito prazer. Eu sou Agnes Huescas e sou instrutora da Alura. Eu me formei em Engenharia de Computação e estou cursando uma pós-graduação em Engenharia de Dados. Além disso, trabalho em um banco como engenheira de dados há 5 anos. Lá, sou responsável por criar pipelines (fluxos de processamento) de dados, monitorá-los e criar infraestruturas na nuvem. Vou me autodescrever com fins de acessibilidade.

Audiodescrição: Sou uma mulher branca, tenho cabelo castanho e longo, uso óculos com armação transparente e visto uma blusa verde. Atrás de mim está o estúdio da Alura e, à minha esquerda, há uma estante com algumas plantas.

Apresentando o percurso e indicando canais de apoio

Durante este percurso, nós entenderemos desde o início de um pipeline (fluxo de processamento), passando pela configuração até chegar ao monitoramento e ao consumo.

É importante lembrar que, durante este percurso, você não está só. Nós temos o fórum da Alura e nosso canal no Discord (aplicativo de comunicação) para que você possa conversar com colegas, resolver dúvidas e compartilhar os insights (percepções) que este curso trouxer.

Construindo o data lake e preparando as transformações

Ao longo de todo este curso, nós veremos como preparar o ambiente e criar um Data Lake (lago de dados). Também veremos como ingerir dados nesse Data Lake, criar as pastas e organizá-las para que estejam dentro de nossa arquitetura, que será a Medallion Architecture (Arquitetura Medalhão).

Também faremos transformação de dados com o serviço Azure Functions (Funções do Azure). Assim, nós criaremos uma função em Python (linguagem Python) para realizar o nosso processamento.

Orquestrando com o data factory e consultando no synapse

Será o coração do nosso processo. Nós também criaremos um primeiro pipeline no Data Factory (Fábrica de Dados). Será um pipeline básico, apenas para entendermos como funciona. O Data Factory (Fábrica de Dados) é o orquestrador, mas, depois, faremos a orquestração do pipeline completo.

Em seguida, faremos todas as conexões necessárias com nossa Azure Function (Função do Azure) e criaremos um trigger (gatilho). Também consultaremos esses dados dentro do nosso Data Lake (Lago de Dados) e usaremos o Synapse (Synapse), uma ferramenta com a qual podemos ler nossos dados em Parquet (Parquet) e transformá-los em uma tabela para visualização, executando consultas em SQL (Linguagem de Consulta Estruturada) para obter insights (percepções) para o nosso negócio e também para entender e validar se nosso processo funcionou.

Concluindo com monitoramento e convidando para o curso

Por fim, faremos o monitoramento e a finalização desse pipeline. No monitoramento, entenderemos como monitorar, como analisar falhas, como resolver essas falhas e até como configurar alguns alertas para que nosso pipeline avise se houver algum erro.

Esse pipeline será completo; será um caso simples. Estaremos trabalhando com um caso de streaming (transmissão contínua), mas será um caso de ponta a ponta, iniciando pela configuração e seguindo até o consumo e o monitoramento do nosso processo.

Portanto, se você está começando agora em engenharia de dados e deseja realizar um processo, um projeto no Azure (Azure), um projeto na nuvem que é de extrema importância e muito comum no dia a dia, este curso é para você.

Te vejo nos próximos vídeos. Vamos?

Preparando o ambiente e o Data Lake - O pipeline que vamos construir

Apresentando o pipeline e o contexto

Olá. Neste vídeo, vamos falar sobre o pipeline (fluxo de processamento) que vamos construir.

Antes de tudo, vamos contextualizar. Durante todas as nossas aulas, trabalharemos em um caso prático. Nosso caso é: somos uma empresa de streaming (transmissão) de filmes. Trabalharemos com dados de streaming que precisam ser processados para realizar análises e entender o nosso negócio.

Explicando o fluxo de ingestão e orquestração

Nosso pipeline funcionará da seguinte maneira: teremos dados entrando na camada bronze. Será um JSON que será armazenado dentro da camada bronze do nosso data lake (lago de dados).

Depois de receber um dado no nosso data lake, na camada bronze, o Azure Data Factory, que é o orquestrador, entrará em ação. Não se preocupem: estamos utilizando termos aqui, mas vamos aprofundá-los durante as aulas. O Azure Data Factory orquestrará nosso pipeline e, dentro dele, teremos uma função que fará o nosso processo de ETL (Extrair, Transformar e Carregar). Essa função realizará todas as transformações necessárias para gravar em uma camada prata, uma camada já mais processada.

Por fim, utilizaremos o Azure Synapse, uma ferramenta com a qual podemos ler um arquivo, por exemplo, Parquet, em formato colunar, e transformá-lo em uma tabela visível, para que possamos realizar várias análises de negócio.

Configurando o pipeline e componentes de análise

Durante esse processo, faremos várias configurações. Uma delas é o nosso pipeline, que hoje terá apenas dois passos, mas poderíamos trabalhar com muitos outros.

Também teremos aqui o Azure Synapse, conforme comentamos, onde faremos a leitura e algumas análises de dados muito interessantes.

Além disso, teremos no processo uma função com nosso código Python que realizará todo esse processamento. Tudo isso será desenvolvido ao longo do curso.

Mostrando a função e a estrutura do data lake

Aqui, podemos ver a função com nosso código Python. Ela está sendo aberta, e possui o código associado que fará todo o nosso processamento.

Também criaremos todo o nosso data lake (lago de dados), com a camada bronze e a camada prata, em pastas organizadas por ano, mês e dia, com nosso arquivo dentro.

Ao longo de todo esse processo, desenvolveremos muitas coisas.

Monitorando o pipeline e garantindo visão ponta a ponta

A função mencionada, que é nosso código de processamento e a parte vital do fluxo, será a base para entendermos como monitorar este pipeline (fluxo de processamento). Nós o monitoraremos; entenderemos quando falhar e quando tiver sucesso; compreenderemos todos esses processos.

Nosso pipeline (fluxo de processamento), por mais simples que seja, será completo de ponta a ponta: desde a ingestão, o data lake (lago de dados) e as configurações básicas até o monitoramento e as consultas em sistemas de negócio. Será muito bom.

Reforçando o caso de uso e finalizando o vídeo

Nosso caso aqui será o streaming (transmissão contínua), não se esqueçam. Será muito bom, porque este é um caso de sucesso na área de engenharia de dados e é muito comum usá-lo como exemplo, justamente por ser orientado a dados.

Então, te vejo no próximo vídeo.

Preparando o ambiente e o Data Lake - Criando sua conta Azure

Apresentando o curso e acessando o site

Olá. Neste curso, vamos abordar como criar sua conta no Azure.

Para começar, vamos ao navegador e pesquisamos por conta gratuita do Azure. Em seguida, clicamos no primeiro resultado, que é o site oficial. Dentro da página do Azure, podemos escolher entre experimentar o Azure gratuitamente ou utilizar o modelo de pagamento conforme o uso.

Comparando modalidades de conta

Para entender melhor a diferença entre essas duas modalidades, descemos um pouco a página até a área com dois banners (faixas). Nessa comparação, vemos que a conta gratuita está disponível apenas para pessoas clientes novas na plataforma. Caso já exista uma conta criada com seu e-mail, não será possível utilizar a conta gratuita; será necessário criar uma conta nova. Se estivermos criando a conta pela primeira vez com esse e-mail, teremos a possibilidade de obter a conta gratuita.

Tanto na conta gratuita quanto na conta de pagamento conforme o uso, há mais de 20 serviços disponíveis gratuitamente por 12 meses e mais de 65 serviços que são sempre gratuitos.

Como diferencial da conta gratuita, recebemos um crédito de 200 dólares para utilizar nos primeiros 30 dias. Assim, além dos serviços gratuitos, podemos consumir serviços que normalmente seriam pagos, abatendo esse consumo do crédito de 200 dólares.

Embora seja uma conta gratuita, será solicitado o cartão de crédito para validação. Poderá haver, no máximo, a cobrança de 1 dólar para confirmar que o cartão é válido e concluir a criação da conta, mas esse valor será reembolsado. Essa conta pode ser cancelada a qualquer momento, sem compromisso.

Após utilizar os 200 dólares ou ao completar os primeiros 30 dias, podemos alterar o modelo de conta para pagamento conforme o uso. Nesse modelo, continuamos contando com os mais de 20 serviços gratuitos por 12 meses e com os mais de 65 serviços sempre gratuitos; a partir daí, os serviços que não fazem parte das gratuidades passam a ser cobrados de acordo com a demanda. Trata-se de uma conta sob demanda, isto é, on-demand (sob demanda): ao utilizar um serviço que não está na lista de gratuitos, pagaremos conforme o uso.

Planejando o uso dos serviços gratuitos

Vamos utilizar uma conta gratuita do Azure (Azure). Nessa conta, não precisamos realizar nenhuma ação após 30 dias. Para o nosso curso, usaremos a conta gratuita; portanto, para criar nosso pipeline (fluxo de processamento), utilizaremos apenas o que estiver dentro dos serviços gratuitos ou que não ultrapasse os 200 dólares disponíveis em créditos.

É importante lembrar que, se quisermos continuar usando essa conta para estudar após esse período, será necessário migrá-la para o modelo de pagamento por uso. Se quisermos verificar com mais detalhes quais serviços estão gratuitos, mais abaixo na página do Azure (Azure) há uma lista. Nessa lista, sempre aparece:

• o nome do serviço (por exemplo, Azure DevOps (Azure DevOps));
• acima, a indicação se é “sempre gratuito” ou “por 12 meses”;
• abaixo, a limitação desse serviço.

Por exemplo, no Azure DevOps (Azure DevOps), a limitação é de 5 usuários com repositório privado Git (Git) ilimitado. Já no Azure Container Registry (Registro de Contêiner do Azure), a oferta é por 12 meses, no nível Standard, com 100 gigabytes de armazenamento e 10 webhooks (webhooks). Assim, sempre veremos qual é o serviço, por quanto tempo ele fica gratuito e qual é a limitação. Se ultrapassarmos esse limite, passaremos a pagar.

Na conta gratuita, utilizaremos os créditos até que se esgotem. No modelo de pagamento por uso, pagaremos o valor do serviço, que pode ser consultado na página do Azure (Azure), entendendo melhor o serviço e seu custo. Esse valor pode variar conforme a região, então vale a pena explorar, quando formos usar algum serviço fora do curso, o montante que poderemos pagar.

Criando a conta gratuita e encerrando o vídeo

Voltando ao topo da página, vamos clicar em “Experimentar o Azure (Azure) gratuitamente”. Será aberta uma página para criarmos a conta, onde informaremos nosso e-mail. Em seguida, clicaremos em “Avançar”.

Em alguns casos, haverá autenticação em duas etapas; quando solicitado, vamos autorizar o acesso. Depois, declararemos que somos a pessoa identificada na conta. Na sequência, precisaremos preencher alguns dados — país, nome, sobrenome, e-mail e telefone — e então avançaremos.

Na próxima página, veremos as informações sobre o serviço. Em seguida, será solicitado o método de pagamento; vamos inserir os dados de pagamento. Logo após fornecer esses dados, clicaremos em “Registrar-se”. Ao clicar, o processo de criação da conta gratuita será iniciado.

Eu agradeço por me acompanhar neste vídeo. Nos vemos no próximo vídeo.

Sobre o curso Engenharia de Dados: Pipeline de Dados Básico na Azure

O curso Engenharia de Dados: Pipeline de Dados Básico na Azure possui 131 minutos de vídeos, em um total de 83 atividades. Gostou? Conheça nossos outros cursos de Engenharias e Arquiteturas de Dados em Dados, ou leia nossos artigos de Dados.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Preparando o ambiente e o Data Lake
• Ingestão de dados no Data Lake
• Transformando dados com Azure Function
• Criando o primeiro pipeline no Data Factory
• Orquestrando o pipeline completo
• Publicando e executando o pipeline
• Consultando dados no Data Lake
• Monitorando e finalizando o pipeline