Curso de Pipeline Orquestrado de Dados com Airflow e dbt

A gestão manual de fluxos de dados desperdiça horas e recursos valiosos da sua equipe, resultando em dados inconsistentes e decisões atrasadas. Aprenda a eliminar gargalos e garantir a qualidade dos dados, construindo pipelines automatizados e eficientes com Apache Airflow e dbt.

Nível: Intermediário

Para quem é: Engenheiros de Dados, Analistas de Dados, Desenvolvedores e profissionais de BI que buscam automatizar e governar seus fluxos de trabalho de dados.

Ao concluir, você será capaz de: Integrar e orquestrar transformações de dados com Apache Airflow e dbt para construir pipelines automatizados, monitoráveis e robustos.

7 módulos · 11h · certificado ao final

• Mapeando Componentes
  Compreender a arquitetura e o funcionamento de um pipeline de dados já existente que utiliza Airflow e dbt.
• Padronizando Transformações
  Desenvolver modelos de dados declarativos e testáveis utilizando as funcionalidades do dbt, garantindo a qualidade e consistência dos dados.
• Automatizando Fluxos
  Projetar e implementar Directed Acyclic Graphs (DAGs) no Airflow para automatizar a execução de tarefas e definir dependências.
• Orquestrando dbt com Airflow
  Integrar a execução dos projetos dbt dentro de DAGs do Airflow, orquestrando as transformações de dados de forma eficiente.
• Mapeando Dependências Avançadas
  Aplicar padrões avançados de integração entre Airflow e dbt para otimizar o fluxo de trabalho, gerenciar dependências e compartilhar artefatos.
• Automatizando Monitoramento
  Configurar mecanismos de monitoramento, logging e tratamento de erros para garantir a robustez e a confiabilidade do pipeline Airflow-dbt.
• Projeto Final: Construindo um Pipeline de Dados Automatizado com Airflow e dbt
  Criar um pipeline de dados completo e funcional que integre Airflow e dbt para resolver o estudo de caso proposto, desde a ingestão de dados até a geração de modelos prontos para c

Projeto Final

Um pipeline de dados completo e automatizado, com transformações geridas por dbt e orquestrado pelo Apache Airflow, capaz de processar dados, garantir sua qualidade e disponibilizá-los para análise.