apache-airflow-providers-celery
變更日誌¶
3.10.6¶
錯誤修復¶
將 serve_logs 恢復到核心 (#49031)
其他¶
從預裝的提供程式中移除 fab (#48457)
3.10.5¶
錯誤修復¶
再次修復 Celery Executor 在 Airflow 2.x 上的問題。 (#48806)
其他¶
從基礎執行器中移除 change_sensor_mode_to_reschedule (#48649)更新 Celery 庫的最低版本到 5.5.0 (#43777)
3.10.4¶
錯誤修復¶
當使用任務 SDK 的執行器傳遞 'executor_config' 時，排程器不應崩潰 (#47548)
其他¶
AIP-81: 扁平化核心 CLI 命令 (#48224)
3.10.3¶
錯誤修復¶
避免 CeleryExecutor 傳遞 executor_config 時排程器崩潰 (#47375)錯誤修復: 無法為 Airflow v2 匯入名稱 'workloads' (#47152)
其他¶
移除 google-re2 依賴 (#47493)移除舊的 'task run' 命令和 LocalTaskJob (#47453)停用從 Tasks, DAG processing 和 Triggers 的 ORM 訪問 (#47320)實現過時 dag bundle 的清理 (#46503)在新 UI 中渲染結構化日誌而不是顯示原始 JSON (#46827)將 execution_api_server_url 配置移至核心部分 (#46969)將 flit 升級到 3.11.0 (#46938)
3.10.2¶
注意
此版本無程式碼更改。釋出此版本是因為之前的版本因打包問題被撤回。
3.10.1¶
錯誤修復¶
修復 Local & Celery 執行器中的日誌拼寫錯誤 (#46866)
其他¶
重構 TriggererJobRunner 使其在無需資料庫訪問的程序中執行觸發器 (#46677)AIP-66: 使 DAG 回撥感知 bundle (#45860)將 CeleryExecutor 切換為使用 TaskSDK 進行執行。 (#46265)從 CeleryExecutor CLI 中移除 2.8 版本檢查 (#46910)
3.10.0¶
新特性¶
新增對自定義 celery 配置的支援 (#45038)
錯誤修復¶
修復 Celery 提供程式中 CLI 匯入的版本檢查 (#45255)
其他¶
AIP-72: 在 Task SDK 中支援 DAG 解析上下文 (#45694)AIP-72: 在 SDK 中支援更好的 Context 字典型別提示 (#45583)
3.9.0¶
注意
此提供程式版本僅適用於 Airflow 2.9+，如 Apache Airflow 提供程式支援策略 中所述。
其他¶
將提供程式中的最低 Airflow 版本提升到 Airflow 2.9.0 (#44956)AIP-81 將 CLI 命令按照 Hybrid, Local 和 Remote 移動到相應目錄 (#44538)從程式碼中移除 AIP-44 配置 (#44454)
3.8.5¶
錯誤修復¶
當任務卡在 queued 狀態時重新入隊 (#43520)
3.8.4¶
其他¶
AIP-72: 移除 DAG pickling (#43667)將 python operator 移動到 Standard 提供程式 (#42081)
3.8.3¶
錯誤修復¶
所有執行器都應繼承自 BaseExecutor (#41904)移除 celery 任務處理過程中的狀態同步 (#41870)
其他¶
更改匯入以使用 Standard 提供程式處理 BashOperator (#42252)
3.8.2¶
其他¶
從提供程式中移除已棄用的 soft_fail (#41710)
3.8.1¶
錯誤修復¶
修復: 'CeleryKubernetesExecutor' 和 'LocalKubernetesExecutor' 中缺失 'slots_occupied' (#41602)
3.8.0¶
注意
此提供程式版本僅適用於 Airflow 2.8+，如 Apache Airflow 提供程式支援策略 中所述。
其他¶
將提供程式中的最低 Airflow 版本提升到 Airflow 2.8.0 (#41396)移除已棄用的 SubDags (#41390)
3.7.3¶
錯誤修復¶
將 broker 的可見性超時增加到 24 小時 (#40879)
3.7.2¶
錯誤修復¶
修復異常型別以包含 TypeError，這是在 (#40012) 中引發的型別如果在 _execute_in_fork 的 finally 塊中發生異常，捕獲 sentry flush (#40060)
其他¶
向 _execute_in_fork 日誌新增 PID 和返回碼 (#40058)
3.7.1¶
其他¶
加快 'airflow_version' 匯入速度 (#39552)簡化 'airflow_version' 匯入 (#39497)ECS 執行器: 一旦啟用，將任務設定為 RUNNING 狀態 (#39212)移除 2.7.0 的相容性程式碼 - 它現在是 Airflow 的最低版本 (#39591)其他: 新增關於移除未使用程式碼的註釋 (#39748)
3.7.0¶
注意
此提供程式版本僅適用於 Airflow 2.7+，如 Apache Airflow 提供程式支援策略 中所述。
其他¶
將提供程式中的最低 Airflow 版本提升到 Airflow 2.7.0 (#39240)
3.6.2¶
錯誤修復¶
確保在裝飾器上下文管理器中呼叫 __exit__ (#38383)使用內部 api 時不要釋放 sqlalchemy 引擎 (#38562)對於 Airflow < 2.8.0，使用來自 Airflow 包的 celery worker CLI (#38879)
其他¶
允許使用 'redis'>=5 (#38385)AirflowOptionalProviderFeatureException 的重新丟擲應直接進行 (#38555)
3.6.1¶
錯誤修復¶
從 celery 選項中移除 pid 引數以修復重複 pid 問題，將 celery 命令移動到提供程式包 (#36794)將 AirflowTaskTimeout 更改為繼承 BaseException (#35653)
其他¶
將執行器文件遷移到相應的提供程式 (#37728)
3.6.0¶
新特性¶
向 Celery Executor 新增 'task_acks_late' 配置 (#37066)
其他¶
改進資訊以防止 celery 命令自動擴縮配置錯誤 (#36576)
3.5.2¶
錯誤修復¶
修復 warnings.warn 在提供程式中的堆疊級別 (#36831)
3.5.1¶
錯誤修復¶
修復從 ENV 載入 'sentinel_kwargs' (#36318)
3.5.0¶
注意
此提供程式版本僅適用於 Airflow 2.6+，如 Apache Airflow 提供程式支援策略 中所述。
其他¶
將提供程式中的最低 Airflow 版本提升到 Airflow 2.6.0 (#36017)
3.4.1¶
錯誤修復¶
修復 _SECRET 和 _CMD broker 配置 (#34782)從 Celery 執行器警告中移除敏感資訊 (#34954)
3.4.0¶
注意
此提供程式版本僅適用於 Airflow 2.5+，如 Apache Airflow 提供程式支援策略 中所述。
其他¶
提升提供程式的最低 airflow 版本 (#34728)當 celery sensors 發生異常時，尊重 soft_fail 引數 (#34474)
3.3.4¶
錯誤修復¶
修復 celery 執行器中 update_task_state 的條件 (#34192)
其他¶
合併提供程式中相似的 if 邏輯 (#33987)限制 celery，排除 5.3.2 和 5.3.3 版本 (#34031)在提供程式中用 contextlib.suppress 替換 try - except pass (#33980)透過將部分匯入放入型別檢查塊中，改進 Airflow 提供程式中的模組匯入 (#33754)
3.3.3¶
錯誤修復¶
修復 Python 3.8 下 celery 和 opentelemetry 的依賴問題 (#33579)
其他¶
使 auth managers 提供自己的 airflow CLI 命令 (#33481)將 Sqlalchemy 查詢重構為 2.0 風格 (Part 7) (#32883)
3.3.2¶
其他¶
為 cncf.kubernetes 和 celery 提供程式新增缺失的 re2 依賴 (#33237)在 Airflow 執行器中用 TaskInstanceState 替換 State (#32627)
3.3.1¶
其他¶
新增從執行器生成 CLI 命令的文件 (#33081)移除 Python2 數字遺蹟 (#33050)
3.3.0¶
注意
此提供程式版本是將 Celery Executor 和 Celery Kubernetes Executor 從核心 apache-airflow 包遷移到 Celery 提供程式包的第一個版本。它還需要安裝 7.4.0+ 版本的 apache-airflow-providers-cncf-kubernetes 才能使用 CeleryKubernetesExecutor。您可以使用 pip install apache-airflow-providers-celery[cncf.kubernetes] 安裝帶有 cncf.kubernetes 附加功能的提供程式，以確保安裝正確版本的 cncf.kubernetes 提供程式。
新特性¶
將 CeleryExecutor 移動到 celery 提供程式 (#32526)為舊版本提供程式新增 Airflow 2.7 之前的硬編碼預設配置 (#32775)[AIP-51] 執行器提供 CLI 命令 (#29055)
其他¶
將所有 k8S 類移動到 cncf.kubernetes 提供程式 (#32767)新增執行器發現和文件 (#32532)將 default_celery.py 移動到提供程式內部 (#32628)在執行器的 CLI 提供中丟擲原始匯入錯誤 (#32931)
3.2.1¶
注意
此版本放棄了對 Python 3.7 的支援
其他¶
新增關於提供程式放棄 Python 3.7 支援的說明 (#32015)
3.2.0¶
注意
此提供程式版本僅適用於 Airflow 2.4+，如 Apache Airflow 提供程式支援策略 中所述。
其他¶
提升提供程式中的最低 Airflow 版本 (#30917)
3.1.0¶
注意
此提供程式版本僅適用於 Airflow 2.3+，如 Apache Airflow 提供程式支援策略 中所述。
其他¶
將所有提供程式的最低 airflow 版本移至 2.3.0 (#27196)
3.0.0¶
破壞性更改¶
注意
此提供程式版本僅適用於 Airflow 2.2+，如 Apache Airflow 提供程式支援策略 中所述。
2.1.4¶
其他¶
更新我們處理執行器繫結依賴的方法 (#22573)
2.1.3¶
錯誤修復¶
修復為所有提供程式錯誤新增的 install_requires (#22382)
2.1.2¶
其他¶
在 PyPI 中新增 Trove 分類器 (Framework :: Apache Airflow :: Provider)
2.1.1¶
其他¶
支援 Python 3.10
2.1.0¶
新特性¶
由於 airflow 2.2.0 更改了 Celery 版本， celery 提供程式已轉換為與 Celery 5 一起工作
2.0.0¶
破壞性更改¶
自動應用 apply_default 裝飾器 (#15667)
警告
由於移除了 apply_default 裝飾器，此版本的 provider 需要 Airflow 2.1.0+。如果你的 Airflow 版本低於 2.1.0，並且你想安裝此 provider 版本，請先將 Airflow 升級到至少 2.1.0 版本。否則，你的 Airflow 包版本將自動升級，並且你必須手動執行 airflow upgrade db 來完成遷移。
1.0.1¶
更新了文件和 readme 檔案。
1.0.0¶
provider 的初始版本。