Saltar al contenido principal

Inicio Data Engineering

curso

Introducción a Apache Airflow en Python

Avanzado

Updated 12/2024

Aprende a implementar y programar flujos de trabajo de ingeniería de datos.

Comienza el curso gratis

Incluido de forma gratuitaPremium or Teams

AirflowIngeniería de datos4 horas16 vídeos55 ejercicios4,050 XP42,593Declaración de cumplimiento

Crea Tu Cuenta Gratuita

Google LinkedIn Facebook

o

Al continuar, acepta nuestros Términos de uso, nuestra Política de privacidad y que sus datos se almacenan en los EE. UU.

¿Entrenar a 2 o más personas?

Probar DataCamp for Business

Preferido por estudiantes en miles de empresas

Descripción del curso

Ahora actualizado a Apache Airflow 2.7 - Entregar datos de forma programada puede ser un proceso manual. Escribes secuencias de comandos, añades complejas tareas cron e intentas varias formas de cumplir una serie de requisitos siempre cambiantes, y es aún más complicado gestionarlo todo cuando se trabaja con compañeros de equipo. Apache Airflow puede eliminar este quebradero de cabeza añadiendo programación, gestión de errores e informes a tus flujos de trabajo. En este curso, dominarás los fundamentos de Apache Airflow y aprenderás a implementar canalizaciones complejas de ingeniería de datos en producción. También aprenderás a utilizar grafos acíclicos dirigidos (DAGs), a automatizar los flujos de trabajo de ingeniería de datos y a realizar tareas de ingeniería de datos de forma fácil y repetible, lo que te ayudará a mantener la cordura.

Prerrequisitos

Intermediate Python Introduction to Shell

1

Introducción al flujo de aire

Iniciar capítulo

Introducción a Apache Airflow

Probar una tarea en Airflow

Examinar los comandos de flujo de aire

Flujo de aire DAGs

Definir una simple DAG

Trabajar con DAGs y la carcasa Airflow

Solución de problemas en la creación de DAG

Interfaz web Airflow

Iniciar el servidor web Airflow

Navegar por el flujo de aire UI

Examinar DAGs con el Flujo de aire UI

2

Implementación del flujo de aire DAGs

Iniciar capítulo

Operadores de flujo de aire

Definir una tarea BashOperator

Múltiples BashOperators

Tareas de flujo de aire

Definir el orden de los BashOperators

Determinar el orden de las tareas

Solución de problemas DAG dependencias

Operadores adicionales

Utilizar el Operador Python

Más PythonOperators

EmailOperator y dependencias

Programación del flujo de aire

Programa un DAG mediante Python

Descifrar los horarios del flujo de aire

Solución de problemas DAG runs

3

Mantener y supervisar los flujos de trabajo de Airflow

Iniciar capítulo

Sensores de flujo de aire

Sensores frente a operadores

Privación sensorial

Ejecutores de flujo de aire

Determinación del albacea

Implicaciones para el albacea

Depuración y resolución de problemas en Airflow

DAGs en la bolsa

SLAs e informes en Airflow

Definición de una SLA

Definir una tarea SLA

Generar y enviar por correo electrónico un informe

Añadir correos electrónicos de estado

4

Construir conductos de producción en Airflow

Iniciar capítulo

Trabajar con plantillas

Crear un BashOperator con plantilla

Plantillas con múltiples argumentos

Más plantillas

Utilizar listas con plantillas

Comprender las opciones de los parámetros

Enviar correos electrónicos con plantillas

Ramificación

Definir un BranchPythonOperator

Solución de problemas de la sucursal

Crear un canal de producción

Crear un canal de producción nº 1

Crear una cadena de producción nº 2

Añadir los cambios finales a tu pipeline

¡Enhorabuena!

Introducción a Apache Airflow en Python

Curso
Completo

Obtener Declaración de Logro

Añade esta credencial a tu perfil, currículum vitae o CV de LinkedIn
Compártelo en las redes sociales y en tu evaluación de desempeño

Incluido conPremium or Teams

Inscríbete ahora

Únete a más 15 millones de estudiantes y empezar Introducción a Apache Airflow en Python ¡Hoy!

Crea Tu Cuenta Gratuita

Google LinkedIn Facebook

o

Al continuar, acepta nuestros Términos de uso, nuestra Política de privacidad y que sus datos se almacenan en los EE. UU.