Logo do curso
Curso

Produtos com IA:

Evals, observabilidade e conformidade

Quero estudar na alura

10h

Para conclusão

72

Pessoas nesse curso

Certificado

De participação

Introdução_

O que você aprenderá_

  • Lance um MVP de produto de IA e conduza iterações orientadas pelo feedback de usuários.
  • Desenvolva evals estruturados para avaliar a performance de modelos de linguagem em critérios relevantes.
  • Implemente métricas e mecanismos de observabilidade para monitorar interações e detectar anomalias em tempo real.
  • Mapeie e gerencie riscos, definindo guardrails e critérios de qualidade alinhados à LGPD.
  • Estruture processos de governança e conformidade para proteger usuários e dados sensíveis.
  • Estabeleça integrações entre lógica automatizada e supervisão humana para decisões seguras.
  • Elabore relatórios de diagnóstico e planos de ação para identificar e corrigir falhas do produto.

Público alvo_

Profissionais de produto, gerentes, engenheiros e interessados que desejam projetar, avaliar e operar produtos baseados em IA com práticas de monitoramento, avaliação de modelos e conformidade regulatória.

Diego Rosales

Diego Rosales

Product Manager com mais de 8 anos construindo produtos digitais, tendo atuado em iniciativas B2B e B2C. Diego é especialista em transformar a interação entre pessoas em momentos que realmente geram valor através de produtos digitais.

Curso atualizado em 07/10/2026

Ementa

  1. O produto lançou, e agora?

    • Lançar é só o começo
    • Tempo de aprender e tempo para atingir o mercado
    • Três pilares
    • Pilares do Run em produtos de IA
    • Mapeando riscos
    • Relatório de riscos
    • Faça como eu fiz: gerenciar MVP
  2. Evals: avaliando a qualidade das respostas

    • O que são Evals
    • Pilares dos Evals
    • Avaliação de modelo
    • Critérios de qualidade
    • Os critérios no produto
    • Avaliação de produto vs modelo
    • Faça como eu fiz: avaliar qualidade do produto
  3. Evals na prática

    • LLM como juiz
    • Avaliação por LLM em escala
    • Primeiro conjunto de Evals
    • O conjunto inteiro de Evals
    • Evals ao vivo
    • Evolve na avaliação de produtos
    • Faça como eu fiz: LLM como juiz
  4. Observabilidade: monitorando em produção

    • O que é observabilidade
    • Gestão de Observabilidade em IA
    • Conhecendo o Langfuse
    • Lendo os dados de produção
    • Análise da latência
    • Padrões de falha
    • Faça como eu fiz: observar com LangFuse
  5. Detectar, diagnosticar e corrigir

    • Diagnosticando a causa
    • Corrigindo antes do usuário
    • Decisões de arquitetura em IA
    • Especificando e validando a correção
    • Evals e testes finais
    • Persistência de pendências
    • Faça como eu fiz: Diagnóstico e Correção
  6. Guardrails, transparência e LGPD

    • O que são guardrails
    • Guardrails de código em IA
    • Transparência com o usuário
    • LGPD na prática
    • Checklist de conformidade
    • Tool choice forçado
    • Faça como eu fiz: aplicar guardrails e LGPD

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos
Escola

Inteligência Artificial

Mergulhe com profundidade no universo da Inteligência Artificial (IA) aplicada a diferentes áreas de atuação e domine as principais ferramentas que estão moldando o agora, como ChatGPT e Midjourney. Navegue pelos nossos cursos e comece a explorar todo o potencial das IAs Generativas para impulsionar a sua carreira.

Conheça a escola

Pessoas estudando esse curso nesse mês:

Estude com elas

e mais 69 pessoas

Faça parte da nossa comunidade no discord!

Troque conhecimentos com a comunidade da Alura

Aprenda IA para Produto & Negócio com esse e outros cursos, comece agora!

Conheça os Planos para Empresas