Múltiples BashOperators

Flujo de aire DAGs puede contener muchos operadores, cada uno realizando sus tareas definidas.

Has implementado con éxito uno de tus guiones como tarea Airflow y has decidido seguir migrando tus guiones individuales a un Airflow completo DAG. Ahora quieres añadir más componentes al flujo de trabajo. Además del cleanup.sh utilizado en el ejercicio anterior, tienes dos scripts más, consolidate_data.sh y push_data.sh. Éstos procesan aún más tus datos y los copian a su ubicación final.

El DAG analytics_dag está definido (lo que significa que no necesitas añadir la declaración with DAG(...), y tu tarea cleanup sigue definida. El BashOperator ya está importado.

Este ejercicio forma parte del curso

Introducción a Apache Airflow en Python

Ver curso

Instrucciones del ejercicio

Define un BashOperator llamado consolidate, para ejecutar consolidate_data.sh con un task_id de consolidate_task.
Añade un BashOperator final llamado push_data, que ejecute push_data.sh y un task_id de pushdata_task.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

# Define a second operator to run the `consolidate_data.sh` script
consolidate = ____(
    task_id='consolidate_task',
    bash_command=____
    )

# Define a final operator to execute the `push_data.sh` script
push_data = ____(
    ____=____,
    ____=____
    )

Editar y ejecutar código