A gestão manual de fluxos de dados desperdiça horas e recursos valiosos da sua equipe, resultando em dados inconsistentes e decisões atrasadas. Aprenda a eliminar gargalos e garantir a qualidade dos dados, construindo pipelines automatizados e eficientes com Apache Airflow e dbt.
Nível: Intermediário
Para quem é: Engenheiros de Dados, Analistas de Dados, Desenvolvedores e profissionais de BI que buscam automatizar e governar seus fluxos de trabalho de dados.
Ao concluir, você será capaz de: Integrar e orquestrar transformações de dados com Apache Airflow e dbt para construir pipelines automatizados, monitoráveis e robustos.
7 módulos · 11h · certificado ao final
- Mapeando Componentes
Compreender a arquitetura e o funcionamento de um pipeline de dados já existente que utiliza Airflow e dbt. - Padronizando Transformações
Desenvolver modelos de dados declarativos e testáveis utilizando as funcionalidades do dbt, garantindo a qualidade e consistência dos dados. - Automatizando Fluxos
Projetar e implementar Directed Acyclic Graphs (DAGs) no Airflow para automatizar a execução de tarefas e definir dependências. - Orquestrando dbt com Airflow
Integrar a execução dos projetos dbt dentro de DAGs do Airflow, orquestrando as transformações de dados de forma eficiente. - Mapeando Dependências Avançadas
Aplicar padrões avançados de integração entre Airflow e dbt para otimizar o fluxo de trabalho, gerenciar dependências e compartilhar artefatos. - Automatizando Monitoramento
Configurar mecanismos de monitoramento, logging e tratamento de erros para garantir a robustez e a confiabilidade do pipeline Airflow-dbt. - Projeto Final: Construindo um Pipeline de Dados Automatizado com Airflow e dbt
Criar um pipeline de dados completo e funcional que integre Airflow e dbt para resolver o estudo de caso proposto, desde a ingestão de dados até a geração de modelos prontos para c
Projeto Final
Um pipeline de dados completo e automatizado, com transformações geridas por dbt e orquestrado pelo Apache Airflow, capaz de processar dados, garantir sua qualidade e disponibilizá-los para análise.