Tengo un proyecto python / django (que se ejecuta en contenedores acoplables). Hay un flujo de trabajo de recopilación de datos que se implementa a través de tareas de apio, que dependen unas de otras y se ejecutan en paralelo.

Quiero migrar toda esta lógica a apache airflow, porque asumo que se adapta a mis necesidades y será más conveniente iniciar y reiniciar las tareas, construir un flujo de trabajo más complejo, monitorear y depurar.

Nunca antes había usado el flujo de aire. ¿Mi plan es cuerdo? ¿Dónde empiezo? ¿Qué ejecutores debo utilizar?

0
maremare 29 ago. 2020 a las 18:11

1 respuesta

La mejor respuesta

Tiene sentido, también hay el mismo ejecutor de apio en el flujo de aire de Apache.

https://airflow.apache.org/docs/stable/executor/index.html

Puede replicar su código para probarlo en la ventana acoplable de flujo de aire a continuación.

https://github.com/puckel/docker-airflow

En la herramienta de flujo de aire puede administrar, programar y monitorear todo este código por tareas en el dag

Hay ejemplos de dags en

https://github.com/apache/airflow/tree/master/airflow/example_dags

Puedes empezar con este -

https://github.com/apache/airflow/blob/master/airflow/example_dags/tutorial.py

2
Diego Lopes 30 ago. 2020 a las 17:21