Sobre este cursoIntermediário · 8 módulos · 10h
Aprenda a transformar LLMs em juízes precisos para avaliar automaticamente respostas, textos e outputs de IA. Domine técnicas para criar sistemas escaláveis que garantem qualidade e consistência em aplicações de inteligência artificial.
Nível: Intermediário
Para quem é: Desenvolvedores, cientistas de dados, engenheiros de prompt e profissionais de IA que desejam automatizar processos de validação e avaliação de conteúdo
Ao concluir, você será capaz de: Capacitar o aluno a implementar sistemas de avaliação automática utilizando LLMs para julgar qualidade, coerência e relevância de textos, respostas ou outputs de IA
8 módulos · 10h · certificado ao final
- Entendendo o conceito de LLM como juiz: casos de uso e limitações
- Configurando ambientes para avaliação automática com Python e APIs
- Definindo métricas de avaliação: coerência, relevância e criatividade
- Projetando prompts para julgamento objetivo e subjetivo
- Implementando pipelines de avaliação em lote para grandes volumes de dados
- Avaliando e ajustando a consistência dos julgamentos do LLM
- Integrando sistemas de avaliação com RAG e agentes autônomos
- Projeto Final: Construindo um sistema de avaliação automática para chatbots ou assistentes virtuais
Projeto Final
Um sistema funcional de avaliação automática que julga respostas de um chatbot ou assistente virtual com base em métricas personalizadas, incluindo relatório de desempenho e sugestões de melhoria
Bem-vindo ao curso de LLMs como Juízes: Avaliação Automatizada na Prática.
Vou adaptar os exemplos ao que você gosta e fazer perguntas no final de cada módulo para garantir que tudo ficou claro.
Módulo 1: Entendendo o conceito de LLM como juiz:...