+2 meses grátis para
acelerar a sua carreira

Tá acabando!

00

DIAS

00

HORAS

00

MIN

00

SEG

Desafios de colocar um LLM em produção - Hugo Abonizio

Alura+ são pequenos vídeos com conteúdo complementar aos cursos da Alura. Aqui você tem novidades, dicas, tutoriais, novos assuntos e muito mais. Excelente para aprender algo novo naqueles pequenos momentos que sobram no dia.

Resumo do conteúdo

Confira tudo que rolou na palestra de Hugo Abonizio no IA Conference Brasil 2024.


Em sua palestra, Hugo Abonizio, engenheiro e pesquisador na Maritaca Ai, explorou os desafios de servir modelos de linguagem de grande escala (LLMs) de forma eficiente.

Para isso, abordou as principais otimizações utilizadas pela indústria, incluindo Flash Attention, quantização e especulação, bem como o balanceamento entre latência e throughput e sua relação com a velocidade de memória e computação das GPUs.

Além disso, também explorou as principais soluções open-source disponíveis e as considerações essenciais ao implementar uma API de LLM em produção.

Já é Aluno?

Comece agora

min para conclusão

Escolha o plano ideal para sua carreira e ganhe mais dois meses de acesso

Conheça os Planos para Empresas