CeleryKubernetes 執行器

注意

從 Airflow 2.7.0 開始，您需要同時安裝 celery 和 cncf.kubernetes provider 包才能使用此執行器。這可以透過安裝 apache-airflow-providers-celery>=3.3.0 和 apache-airflow-providers-cncf-kubernetes>=7.4.0 來完成，或者透過使用 celery 和 cncf.kubernetes extras 安裝 Airflow：pip install 'apache-airflow[celery,cncf.kubernetes]'。

CeleryKubernetesExecutor 允許使用者同時執行 CeleryExecutor 和 KubernetesExecutor。基於任務的佇列選擇執行器來執行任務。

CeleryKubernetesExecutor 繼承了 CeleryExecutor 的可伸縮性，可以在高峰時段處理高負載，並繼承了 KubernetesExecutor 的執行時隔離特性。

Celery 執行器的配置引數可在 Celery provider 的 配置參考 中找到。

何時使用 CeleryKubernetesExecutor

CeleryKubernetesExecutor 僅應在特定情況下使用，因為它需要同時設定 CeleryExecutor 和 KubernetesExecutor。

當您的用例滿足以下條件時，我們建議考慮使用 CeleryKubernetesExecutor。

  1. 高峰時段需要排程的任務數量超出了您的 Kubernetes 叢集能夠輕鬆處理的規模。

  2. 您的任務中相對較小的一部分需要執行時隔離。

  3. 您有大量可以在 Celery worker 上執行的小任務，但也有一些資源密集型任務，更適合在預定義環境中執行。

本條目有幫助嗎？