Métricas de LLMs: Do Zero à Avaliação Automatizada

Aprenda a medir e validar o desempenho de modelos de linguagem em produção, utilizando métricas avançadas e automação. Torne-se capaz de identificar falhas, otimizar respostas e garantir a qualidade de LLMs em aplicações reais.

Nível: Intermediário

Para quem é: Engenheiros de machine learning, cientistas de dados, desenvolvedores de IA e profissionais de LLMOps que desejam validar e otimizar modelos de linguagem em ambientes reais

Ao concluir, você será capaz de: Capacitar o aluno a implementar pipelines de avaliação automatizada para LLMs, utilizando métricas clássicas e modernas, além de frameworks como LangChain e LlamaIndex

8 módulos · 12h · certificado ao final

  • Entenda os desafios de avaliar LLMs: por que acurácia não é suficiente
  • Explore métricas clássicas e modernas: BLEU, ROUGE, perplexidade e human evaluation
  • Configure ambientes de avaliação com LangChain e LlamaIndex
  • Crie datasets de teste para cenários específicos (RAG, chatbots, tradução, etc.)
  • Implemente pipelines de avaliação automatizada com Python e APIs
  • Analise resultados e identifique vieses e falhas em LLMs
  • Otimize modelos com base em métricas e feedback contínuo
  • Projeto Final: Construa um sistema de avaliação automatizada para um LLM em produção

Projeto Final

Um pipeline de avaliação automatizada para um LLM, com relatórios de métricas, análise de vieses e sugestões de otimização, implementado em Python e integrado a um framework como LangChain ou LlamaIndex

🎓
Métricas de LLMs: Do Zero à Avaliação Automatizada 8 módulos · 12h · certificado
Módulo 1 de 8
Aula interativa · Tutor IA
Como quer estudar?
Bem-vindo à sua aula de Métricas de LLMs: Do Zero à Avaliação Automatizada! Eu sou seu Tutor IA e esta conversa é o próprio curso: cada mensagem faz parte da trilha, com explicações, exemplos, diagramas e desafios. Para começar, me diga seu nome e do que você gosta. Vou usar isso nos exemplos.

Construindo Bots de Conversação com LLMs e RAG

Aprenda a criar bots de conversação inteligentes que utilizam LLMs e RAG para oferecer respostas precisas e contextualizadas. Domine técnicas de engenharia de prompts e deploy para transformar suas ideias em soluções práticas e escaláveis.

Nível: Intermediário

Para quem é: Desenvolvedores, engenheiros de IA, profissionais de TI e entusiastas que desejam criar soluções conversacionais avançadas

Ao concluir, você será capaz de: Capacitar o aluno a construir, otimizar e implantar bots de conversação inteligentes usando LLMs, RAG e boas práticas de engenharia de prompts

8 módulos · 12h · certificado ao final

  • Entendendo a arquitetura de bots de conversação com LLMs
  • Configurando ambientes de desenvolvimento para bots com Python
  • Integrando LLMs com APIs e bases de dados estruturadas
  • Aplicando RAG para enriquecer respostas com contexto personalizado
  • Otimizando prompts para respostas mais precisas e naturais
  • Implementando fallback e tratamento de erros em bots
  • Realizando deploy de bots em cloud com escalabilidade
  • Projeto Final: Construindo um bot de conversação completo com RAG e LLMs

Projeto Final

Um bot de conversação funcional, integrado a uma base de dados personalizada, com RAG implementado e deploy em ambiente de produção

🎓
Construindo Bots de Conversação com LLMs e RAG 8 módulos · 12h · certificado
Módulo 1 de 8
Aula interativa · Tutor IA
Como quer estudar?
Bem-vindo à sua aula de Construindo Bots de Conversação com LLMs e RAG! Eu sou seu Tutor IA e esta conversa é o próprio curso: cada mensagem faz parte da trilha, com explicações, exemplos, diagramas e desafios. Para começar, me diga seu nome e do que você gosta. Vou usar isso nos exemplos.

Automação de Geração: Pipelines Inteligentes com LLMs

Aprenda a construir pipelines inteligentes de geração de conteúdo ou dados usando LLMs, desde a orquestração até a integração com sistemas existentes. Domine técnicas para escalar e otimizar fluxos automatizados com alta disponibilidade.

Nível: Intermediário

Para quem é: Desenvolvedores, engenheiros de dados, profissionais de IA e analistas de automação que desejam criar soluções de geração automatizada para produção

Ao concluir, você será capaz de: Capacitar o aluno a projetar, implementar e escalar pipelines de geração de conteúdo ou dados usando LLMs, com foco em automação e integração com sistemas existentes

8 módulos · 12h · certificado ao final

  • Explorar casos de uso para automação de geração com LLMs
  • Configurar ambientes de desenvolvimento para pipelines de IA
  • Orquestrar LLMs com LangChain e LlamaIndex para fluxos automatizados
  • Integrar pipelines com bancos de dados e APIs externas
  • Implementar fallback multiprovider para alta disponibilidade
  • Validar e filtrar saídas de LLMs com métricas automatizadas
  • Otimizar custos e latência em pipelines de geração
  • Projeto Final: Construir um pipeline de geração automatizada para um caso real

Projeto Final

Um pipeline de geração automatizada funcional, integrado a uma base de dados ou API, com fallback e validação de qualidade implementados

🎓
Automação de Geração: Pipelines Inteligentes com LLMs 8 módulos · 12h · certificado
Módulo 1 de 8
Aula interativa · Tutor IA
Como quer estudar?
Bem-vindo à sua aula de Automação de Geração: Pipelines Inteligentes com LLMs! Eu sou seu Tutor IA e esta conversa é o próprio curso: cada mensagem faz parte da trilha, com explicações, exemplos, diagramas e desafios. Para começar, me diga seu nome e do que você gosta. Vou usar isso nos exemplos.

Chatbots Inteligentes: Do RAG ao Deploy com LLMs

Aprenda a construir chatbots avançados que combinam LLMs e RAG para respostas precisas e contextuais. Domine técnicas de deploy e otimização para sistemas escaláveis e eficientes.

Nível: Intermediário

Para quem é: Desenvolvedores, engenheiros de IA, analistas de dados e profissionais de TI interessados em chatbots e automação conversacional

Ao concluir, você será capaz de: Capacitar o aluno a construir, otimizar e implantar chatbots inteligentes utilizando LLMs, RAG e boas práticas de engenharia de prompts

8 módulos · 12h · certificado ao final

  • Explorar arquiteturas de chatbots com LLMs e RAG
  • Configurar ambientes de desenvolvimento com LangChain e LlamaIndex
  • Implementar RAG híbrido para busca semântica e clássica
  • Aplicar técnicas de ReAct para agentes autônomos de raciocínio
  • Otimizar prompts com few-shot e zero-shot learning
  • Integrar chatbots a APIs e sistemas legados
  • Monitorar desempenho com métricas de latência e qualidade
  • Projeto Final: Construir e implantar um chatbot inteligente com RAG e LLMs

Projeto Final

Um chatbot inteligente implantado em ambiente de produção, com RAG, integração a APIs e métricas de avaliação

🎓
Chatbots Inteligentes: Do RAG ao Deploy com LLMs 8 módulos · 12h · certificado
Módulo 1 de 8
Aula interativa · Tutor IA
Como quer estudar?
Bem-vindo à sua aula de Chatbots Inteligentes: Do RAG ao Deploy com LLMs! Eu sou seu Tutor IA e esta conversa é o próprio curso: cada mensagem faz parte da trilha, com explicações, exemplos, diagramas e desafios. Para começar, me diga seu nome e do que você gosta. Vou usar isso nos exemplos.

Pipeline de Produção Inteligente: Automação com IA

Domine a arte de levar código do desenvolvimento para a produção com a máxima eficiência. Aprenda a integrar IA em cada etapa do ciclo de vida do software para eliminar gargalos e erros manuais.

Nível: Iniciante a Intermediário

Para quem é: Desenvolvedores, engenheiros de DevOps e profissionais de infraestrutura

Ao concluir, você será capaz de: O aluno será capaz de criar e gerenciar pipelines de entrega contínua que utilizam IA para testes automáticos, análise de código e deploy resiliente

7 módulos · 12h · certificado ao final

  • Mapear o fluxo de entrega contínua moderno
  • Configurar esteiras de CI/CD com integração de LLMs
  • Automatizar testes unitários e integrados usando agentes de IA
  • Implementar análise estática de código com ferramentas preditivas
  • Otimizar o deploy com estratégias de Blue-Green e Canary
  • Monitorar a saúde da produção com observabilidade inteligente
  • Projeto Final: Construção de uma Pipeline Autônoma de Ponta a Ponta

Projeto Final

Criação de um pipeline completo no GitHub Actions ou GitLab CI que utiliza IA para validar commits, sugerir correções de bugs e realizar o deploy automatizado em ambiente de nuvem

🎓
Pipeline de Produção Inteligente: Automação com IA 7 módulos · 12h · certificado
Módulo 1 de 7
Aula interativa · Tutor IA
Como quer estudar?
Bem-vindo à sua aula de Pipeline de Produção Inteligente: Automação com IA! Eu sou seu Tutor IA e esta conversa é o próprio curso: cada mensagem faz parte da trilha, com explicações, exemplos, diagramas e desafios. Para começar, me diga seu nome e do que você gosta. Vou usar isso nos exemplos.

Agentes Autônomos: Orquestração e Escalabilidade com LLMOps

Aprenda a criar agentes autônomos que resolvem problemas complexos em produção, desde a arquitetura até a escalabilidade com LLMOps. Domine técnicas para reduzir custos e garantir alta disponibilidade em sistemas críticos.

Nível: Intermediário a Avançado

Para quem é: Desenvolvedores, engenheiros de IA, arquitetos de software e profissionais de DevOps que desejam dominar a criação de agentes autônomos em ambientes corporativos

Ao concluir, você será capaz de: Capacitar o aluno a projetar, implementar e escalar sistemas multiagentes autônomos com foco em produção, monitoramento e otimização de custos

9 módulos · 12h · certificado ao final

  • Entendendo arquiteturas de agentes autônomos e casos de uso
  • Configurando ambientes de desenvolvimento para LLMs e agentes
  • Projetando loops de raciocínio (ReAct) para agentes especializados
  • Orquestrando múltiplos agentes com LangChain e LlamaIndex
  • Implementando LLMOps: versionamento, monitoramento e fallback
  • Otimizando custos e latência com técnicas de caching e batching
  • Validando e testando agentes com métricas automatizadas
  • Integrando agentes com sistemas externos via APIs e webhooks
  • Projeto Final: Construindo um sistema multiagente escalável com LLMOps

Projeto Final

Um sistema multiagente funcional com orquestração, monitoramento e documentação técnica, pronto para deploy em ambiente corporativo

🎓
Agentes Autônomos: Orquestração e Escalabilidade com LLMOps 9 módulos · 12h · certificado
Módulo 1 de 9
Aula interativa · Tutor IA
Como quer estudar?
Bem-vindo à sua aula de Agentes Autônomos: Orquestração e Escalabilidade com LLMOps! Eu sou seu Tutor IA e esta conversa é o próprio curso: cada mensagem faz parte da trilha, com explicações, exemplos, diagramas e desafios. Para começar, me diga seu nome e do que você gosta. Vou usar isso nos exemplos.

ReAct Pattern: Agentes de Raciocínio em Produção

Aprenda a criar agentes autônomos que combinam raciocínio e ação usando o padrão ReAct. Domine técnicas avançadas para integrar LLMs com sistemas externos e escalar suas soluções em produção. Ideal para quem quer levar a automação inteligente para o próximo nível.

Nível: Intermediário

Para quem é: Desenvolvedores, engenheiros de IA e arquitetos de sistemas que desejam criar agentes autônomos com raciocínio e ação integrados

Ao concluir, você será capaz de: Capacitar o aluno a projetar, implementar e escalar agentes de IA usando o padrão ReAct em ambientes de produção

8 módulos · 12h · certificado ao final

  • Entendendo o padrão ReAct: Fundamentos e casos de uso
  • Configurando o ambiente para desenvolvimento de agentes
  • Implementando loops de raciocínio e ação com LLMs
  • Integrando agentes ReAct com APIs e bancos de dados
  • Otimizando prompts e fluxos para desempenho
  • Testando e validando agentes em cenários reais
  • Deploy de agentes ReAct em produção com LLMOps
  • Projeto Final: Construindo um agente ReAct para automação de tarefas complexas

Projeto Final

Um agente ReAct funcional, integrado a uma API externa, capaz de resolver uma tarefa complexa (ex: planejamento de viagens, análise de documentos jurídicos ou automação de workflows empresariais)

🎓
ReAct Pattern: Agentes de Raciocínio em Produção 8 módulos · 12h · certificado
Módulo 1 de 8
Aula interativa · Tutor IA
Como quer estudar?
Bem-vindo à sua aula de ReAct Pattern: Agentes de Raciocínio em Produção! Eu sou seu Tutor IA e esta conversa é o próprio curso: cada mensagem faz parte da trilha, com explicações, exemplos, diagramas e desafios. Para começar, me diga seu nome e do que você gosta. Vou usar isso nos exemplos.

ReAct Loops: Agentes Autônomos com LLMs

Aprenda a criar agentes autônomos que combinam raciocínio e ação usando LLMs, desde a teoria até o deploy em produção. Domine o padrão ReAct para resolver problemas reais com inteligência artificial.

Nível: Intermediário

Para quem é: Desenvolvedores, engenheiros de IA, cientistas de dados e profissionais de automação que desejam criar sistemas autônomos inteligentes

Ao concluir, você será capaz de: Capacitar o aluno a projetar, implementar e deployar agentes autônomos que combinam raciocínio e ação usando LLMs em cenários práticos

8 módulos · 12h · certificado ao final

  • Entendendo o padrão ReAct: Raciocínio + Ação
  • Configurando o ambiente para agentes com LLMs
  • Projetando loops de raciocínio para tarefas específicas
  • Integrando LLMs com APIs e ferramentas externas
  • Otimizando prompts para loops eficientes
  • Implementando fallback e tratamento de erros
  • Monitorando e avaliando agentes em produção
  • Projeto Final: Construindo um agente autônomo para automação de processos

Projeto Final

Um agente autônomo que resolve tarefas complexas (ex: pesquisa e compilação de dados, tomada de decisão automatizada) usando ReAct, com deploy em ambiente controlado

🎓
ReAct Loops: Agentes Autônomos com LLMs 8 módulos · 12h · certificado
Módulo 1 de 8
Aula interativa · Tutor IA
Como quer estudar?
Bem-vindo à sua aula de ReAct Loops: Agentes Autônomos com LLMs! Eu sou seu Tutor IA e esta conversa é o próprio curso: cada mensagem faz parte da trilha, com explicações, exemplos, diagramas e desafios. Para começar, me diga seu nome e do que você gosta. Vou usar isso nos exemplos.

ReAct na Prática: Agentes Autônomos com LLMs

Aprenda a criar agentes autônomos que combinam raciocínio e ação usando LLMs e o padrão ReAct. Domine técnicas para integrar IA com ferramentas externas e automatizar tarefas complexas com eficiência.

Nível: Intermediário

Para quem é: Desenvolvedores, engenheiros de IA, cientistas de dados e profissionais de TI interessados em automação avançada com LLMs

Ao concluir, você será capaz de: Capacitar o aluno a construir agentes autônomos que combinam raciocínio e ação usando LLMs, aplicando o padrão ReAct em cenários reais

8 módulos · 12h · certificado ao final

  • Entendendo o padrão ReAct: Fundamentos e casos de uso
  • Configurando o ambiente para agentes autônomos com LLMs
  • Projetando loops de raciocínio e ação para agentes
  • Integrando LLMs com APIs externas para ações concretas
  • Implementando memória e contexto em agentes ReAct
  • Avaliação e métricas para agentes autônomos
  • Otimizando agentes ReAct: Latência, custo e precisão
  • Projeto Final: Construindo um agente ReAct para automação de tarefas complexas

Projeto Final

Um agente autônomo funcional que resolve uma tarefa complexa (ex: pesquisa e síntese de informações, automação de workflows) usando o padrão ReAct, com deploy em ambiente controlado

🎓
ReAct na Prática: Agentes Autônomos com LLMs 8 módulos · 12h · certificado
Módulo 1 de 8
Aula interativa · Tutor IA
Como quer estudar?
Bem-vindo à sua aula de ReAct na Prática: Agentes Autônomos com LLMs! Eu sou seu Tutor IA e esta conversa é o próprio curso: cada mensagem faz parte da trilha, com explicações, exemplos, diagramas e desafios. Para começar, me diga seu nome e do que você gosta. Vou usar isso nos exemplos.

Dados Estruturados com IA na Prática

Aprenda a eliminar o trabalho manual de digitação e organização de dados. Transforme qualquer texto bagunçado em informações prontas para análise com o poder da IA.

Nível: Iniciante a Intermediário

Para quem é: Analistas de dados, desenvolvedores e engenheiros de software.

Ao concluir, você será capaz de: O aluno será capaz de criar pipelines que convertem textos brutos em JSON, CSV ou tabelas SQL automaticamente.

7 módulos · 10h · certificado ao final

  • Compreender a diferença entre dados estruturados e não estruturados
  • Modelar esquemas de dados eficientes para extração
  • Implementar prompts de estruturação com Pydantic e LLMs
  • Desenvolver scripts Python para conversão de texto em JSON
  • Validar a integridade de dados gerados por IA
  • Otimizar a performance de processamento em lote (batch processing)
  • Projeto Final: Pipeline Automática de Estruturação de Documentos

Projeto Final

Um sistema que recebe PDFs ou e-mails diversos e os transforma em um banco de dados SQL estruturado.

🎓
Dados Estruturados com IA na Prática 7 módulos · 10h · certificado
Módulo 1 de 7
Aula interativa · Tutor IA
Como quer estudar?
Bem-vindo à sua aula de Dados Estruturados com IA na Prática! Eu sou seu Tutor IA e esta conversa é o próprio curso: cada mensagem faz parte da trilha, com explicações, exemplos, diagramas e desafios. Para começar, me diga seu nome e do que você gosta. Vou usar isso nos exemplos.