Avaliação de Modelos: Métricas e Automação com LLMs

Aprenda a criar sistemas inteligentes de avaliação para modelos de IA, combinando métricas clássicas e LLMs como juízes. Automatize processos e melhore a performance dos seus modelos com técnicas avançadas.

Nível: Intermediário

Para quem é: Cientistas de dados, engenheiros de ML e desenvolvedores que trabalham com modelos de linguagem ou sistemas de IA

Ao concluir, você será capaz de: Capacitar o aluno a implementar pipelines de avaliação automatizada para modelos de IA, utilizando métricas personalizadas e LLMs como juízes

8 módulos · 10h · certificado ao final

• Entendendo os fundamentos da avaliação de modelos de IA
• Explorando métricas clássicas e suas limitações
• Configurando LLMs como juízes em pipelines de avaliação
• Criando métricas personalizadas para casos de uso específicos
• Automatizando a coleta e análise de feedback com Python
• Integrando sistemas de avaliação em ambientes de produção
• Otimizando modelos com base em resultados automatizados
• Projeto Final: Construindo um pipeline completo de avaliação automatizada

Projeto Final

Um pipeline de avaliação automatizada para um LLM, com métricas personalizadas e relatórios gerados automaticamente