Aprenda a criar sistemas inteligentes de avaliação para modelos de IA, combinando métricas clássicas e LLMs como juízes. Automatize processos e melhore a performance dos seus modelos com técnicas avançadas.
Nível: Intermediário
Para quem é: Cientistas de dados, engenheiros de ML e desenvolvedores que trabalham com modelos de linguagem ou sistemas de IA
Ao concluir, você será capaz de: Capacitar o aluno a implementar pipelines de avaliação automatizada para modelos de IA, utilizando métricas personalizadas e LLMs como juízes
8 módulos · 10h · certificado ao final
- Entendendo os fundamentos da avaliação de modelos de IA
- Explorando métricas clássicas e suas limitações
- Configurando LLMs como juízes em pipelines de avaliação
- Criando métricas personalizadas para casos de uso específicos
- Automatizando a coleta e análise de feedback com Python
- Integrando sistemas de avaliação em ambientes de produção
- Otimizando modelos com base em resultados automatizados
- Projeto Final: Construindo um pipeline completo de avaliação automatizada
Projeto Final
Um pipeline de avaliação automatizada para um LLM, com métricas personalizadas e relatórios gerados automaticamente
🎓
Avaliação de Modelos: Métricas e Automação com LLMs
8 módulos · 10h · certificado
Módulo 1 de 8
Aula interativa · Tutor IA
Bem-vindo à sua aula de Avaliação de Modelos: Métricas e Automação com LLMs! Eu sou seu Tutor IA e esta conversa é o próprio curso: cada mensagem faz parte da trilha, com explicações, exemplos, diagramas e desafios. Para começar, me diga seu nome e do que você gosta. Vou usar isso nos exemplos.