Halo!
Kami memiliki laporan besar setiap malam tentang metrik produk yang dikirim ke pemiliknya di pagi hari. Beberapa tahun yang lalu, mereka dikumpulkan dengan Cron yang biasa, tetapi ini ternyata menjadi cerita yang sangat tidak stabil. Cron memerlukan pertimbangan nuansa dan disiplin tertentu: jika laporan tidak dikumpulkan, maka Anda perlu memulai ulang skrip. Dan mungkin tidak terkumpul karena berbagai alasan: salah satu database MySQL tidak merespons, atau layanan yang disurvei tidak merespons, atau server yang menjalankan Cron di-boot ulang di malam hari atau rusak. Sebagian besar laporan ini dibuat oleh analis yang biasanya tidak memperhitungkan semua ini. Karena mereka adalah analis dan ini bukan tugas mereka. Jadi kami mulai mencari opsi yang akan membuat hidup lebih mudah bagi semua orang.
Dan mereka menemukannya.
Airflow Kubernetes. . , , Data Team, – , - .
– , , . – , , . , , , , . , , , , , – , .
. – . : , . , production-, , . , . , . .
, - : . python, Cron' . , . , , – . : , , , .
DataTeam . , .
: "", , .
- – . , , , – . , , , . , , . Cron . , .
Cron' . , , - . Cron' . , , . .
– , . , , . : , , - . - ( , ). , .
, ( ), . Kubernetes'. , CronJob. , Cron'. : , CronJob , . , , . , Cron , . CronJob "" ( : A cron job creates a job object about once per execution time of its schedule. ). "" , . . CronJob . .
, Kubernetes' . , CronJob , , . – , . , , , . , , , , - , , .
, . Airflow.
Airflow
(, ). Arflow , . – ( directed acyclic graph).
– , . , , . Airflow . , .
– . Cron CronJob . Cron' , , CronJob – Kubernetes'. , Airflow , Kubernetes', - . , . Airflow , , . .
, , Kubernetes'. Airflow , , : KubernetesPodOperator KubernetesExecutor. KubernetesPodOperator: docker- Kubernetes'.
kubernetes-client API Kubernetes', Airflow. configmap' , . KubernetesExecutor' : Airflow , , .
Airflow + KubernetesPodOperator + Kubernetes , , , Airflow Kubernetes, , - .
KubernetesPodOperator'
Kubernetes' Docker' Airflow. - SimpleHttpOperator' PythonOperator', http- , . , , - . – , -. , : , , , . Airflow. – - , , , , .
, .
: . . BI- Metabase, . ().
Airflow + KubernetesPodOperator + Kubernetes .
, " !"?
:
;
, ;
, ;
, .
, Airflow , / ;, , ;
5.
, "how to" Airflow , .