Curso de Engenheiro(a) e Cientista de Dados: Plataforma Databricks com GenAI

Organizações perdem tempo e recursos valiosos com plataformas de dados fragmentadas e governança inconsistente, atrasando insights críticos e a inovação em IA. Este curso aborda essas ineficiências, ensinando a unificar a engenharia de dados e a ciência de ML em um ambiente colaborativo e escalável.

Nível: Intermediário

Para quem é: Profissionais de dados, engenheiros de dados, cientistas de dados e analistas que buscam otimizar e unificar seus fluxos de trabalho de dados e IA na plataforma Databricks.

Ao concluir, você será capaz de: Construir e gerenciar pipelines de dados escaláveis, modelos de machine learning e soluções de IA generativa utilizando Delta Lake, Spark, MLflow, Delta Live Tables, Unity Catalog e Mosaic no Databricks.

7 módulos · 11h · certificado ao final

• Configurando o Ambiente Databricks e Entendendo o Delta Lake
  Compreender a arquitetura e os componentes chave do Databricks, configurar o ambiente de trabalho e explorar os fundamentos do Delta Lake para ingestão de dados.
• Construindo Pipelines Declarativos com Delta Live Tables e Spark
  Aplicar Delta Live Tables (DLT) para desenvolver pipelines de ETL (Extract, Transform, Load) declarativos e escaláveis, garantindo a qualidade e confiabilidade dos dados.
• Integrando Governança de Dados e IA com Unity Catalog
  Configurar e aplicar o Unity Catalog para centralizar a governança de dados, gerenciar acessos e garantir a segurança e a auditabilidade de todos os ativos de dados e ML.
• Construindo o Ciclo de Vida de Machine Learning com MLflow
  Utilizar MLflow para gerenciar o ciclo de vida completo de modelos de Machine Learning, incluindo rastreamento de experimentos, empacotamento de modelos e registro para implantação
• Integrando IA Generativa com Mosaic para Enriquecimento de Dados
  Explorar e aplicar as capacidades de IA Generativa com Mosaic (via Databricks) para enriquecer conjuntos de dados, gerar features sintéticas ou auxiliar na interpretação de informa
• Testando e Otimizando Soluções de Dados e ML no Databricks
  Implementar estratégias de teste para pipelines de dados e modelos de ML, otimizando o desempenho e a confiabilidade de toda a solução.
• Projeto Final: Publicando uma Solução Unificada de Dados e IA
  Criar uma solução completa que integre Delta Lake, Spark, Delta Live Tables, Unity Catalog, MLflow e IA Generativa com Mosaic, desde a ingestão de dados até a entrega de insights e

Projeto Final

Um ecossistema de dados e IA no Databricks, incluindo um pipeline DLT operacional, um modelo de Machine Learning rastreado pelo MLflow, dados enriquecidos por IA Generativa com Mosaic e ativos governados pelo Unity Catalog.