1. CeleryExecutor
- Ketika eksekusi - WORKER (POD / CONTAINER)
- Konsep Poolint - 1 WORKER bisa dipake oleh banyak TASK
- 5 WORKER - task yang jalan ada 100 - 1 worker nya 20
2. KubernetesExecutor
- 1 WORKER / POD = 1 TASK
- 100 TASK = 100 POD / WORKER / CONTTAINER
Concern :
1. Waktu Running
2. Resource / Cost
Jika menggunakan CELERY waktu running cepat - tapi cost besar (tetep 1 menit) tanpa HPA (horizontal pod autoscaling)
JIka menggunakan CELERY + HPA (1 worker standby) 50:50 - MASIH KENDALA
Jika menggunakan KUBERNETES waktu running jadi lambat - tapi cost murah (yang awalnya 1 menit - 5 menit) - DIPAKE
SERVER KUBERNETS AIRFLOW
CPU = 16 CORE
RAM = 32 GB