apache-airflow-providers-standard

更新日誌

1.0.0

注意

Provider 的穩定版本。

錯誤修復

  • 移除 dag_version 作為 create_dagrun 引數 (#49148)

  • 修復 ExternalTaskSensor task_group_id 檢查 條件 (#49027)

  • 確保 TI.id 在每次嘗試中都是唯一的。 (#48749)

  • 在 standard provider 中有條件地新增與 session 相關的匯入 (#49218)

雜項

  • 移除 多餘的 else 塊 (#49199)

0.4.0

特性

  • 使 TriggerDagRunOperator 的預設值為 time.now() (#48969)

錯誤修復

  • 修復 WorkflowTrigger 以與 TaskSDK 一起工作 (#48819)

  • 使 'LatestOnlyOperator' 能夠與 Task SDK 一起工作 (#48945)

  • 修復 dagstate trigger 以與 TaskSDK 一起工作 (#48747)

雜項

  • 從 airflow.sdk 匯入 '@task' (#48896)

0.3.0

  • 使 'ExternalTaskSensor' 能夠與 Task SDK 一起工作 (#48651)

  • 使 Context 中的 datetime 物件成為 Pendulum 物件 (#48592)

  • 修復 sensor_helper.py 中的 _get_count (#40795)

  • 修復 BranchDateTimeOperator 和 BranchDayOfWeekOperator 中的 logical_date 錯誤 (#48486)

  • 將 'BaseSensorOperator' 移至 TaskSDK 定義 (#48244)

  • 將標準 decorators 遷移到 standard provider (#48683)

0.2.0

特性

  • AIP-72: 實現 short circuit 和 branch 運算子 (#46584)

錯誤修復

  • 處理 TimeDeltaSensorAsync 中的空 logical date (#47652)

  • 修復 'BranchMixIn' 的棄用警告 (#47856)

  • 修復 DayOfWeekSensor 的 use_task_logical_date 條件 (#47825)

  • 修復 在 virtualenv jinja 指令碼中初始化外掛時 python 運算子 出現的錯誤 (#48035)

雜項

  • AIP-72: 使 'TriggerDagRunOperator' 能夠與 Task SDK 一起工作 (#47882)

  • 將 utils/weekday.py 重新定位到 standard provider (#47892)

  • AIP-72: 處理 Task SDK 上的自定義 XCom Backend (#47339)

  • 重寫 asset event 註冊 (#47677)

  • 在 sdk 中實現 pre- 和 post-execute 鉤子 (#48230)

0.1.1

雜項

  • 將 SmoothOperator 重新定位到 standard provider 並新增測試 (#47530)

  • AIP-72: 將 BaseOperatorLink 移至 task sdk (#47008)

  • 將 tests_common 包移至 devel-common 專案 (#47281)

  • 移除舊的 UI 和 webserver (#46942)

  • 為 GenericTransfer 新增 deferred 分頁模式 (#44809)

  • 使用 DagRunType 替換 'external_trigger' 檢查 (#45961)

  • 執行時 context 不應包含 start_date 作為鍵 (#46961)

  • 將 flit 升級到 3.11.0 (#46938)

0.1.0

特性

  • AIP-82 引入 'BaseEventTrigger' 作為與事件驅動排程一起使用的 triggers 的基類 (#46391)

  • AIP-83 修正: 在 logical date 為 None 時新增生成 run_id 的邏輯。 (#46616)

錯誤修復

  • TriggerDagRunOperator 預設將 logical date 設定為 null (#46633)

  • 在 ExternalDag 和 TriggerDagRun 連結中使用 run_id (#46546)

雜項

  • 更改 listener API，在 TaskSDK 中新增對 task instance listeners 的基本支援，使 OpenLineage provider 支援 Airflow 3 的 listener 介面 (#45294)

  • 移除 AirflowContextDeprecationWarning，因為對於 Airflow 3，所有 context 都應該是乾淨的 (#46601)

  • 重構(utils/decorators): 重寫 remove task decorator 以使用 cst (#43383)

  • 將 dynamic task mapping 新增到 TaskSDK 執行時 (#46032)

  • 將 EmptyOperator 移至 standard provider (#46231)

  • 為 DagRun 模型新增 run_after 列 (#45732)

  • 移除特性: 在 venv 運算子中傳送 context (使用 'use_airflow_context') (#46306)

  • 在 generic transfer 測試中移除從 MySQL provider 測試匯入的程式碼 (#46274)

  • 修復 main 分支上與 DagRun 驗證相關的失敗 (#45917)

  • 開始將 mapped task 移植到 SDK (#45627)

  • AIP-72: 在 SDK 中支援更優的 Context 字典型別提示  (#45583)

  • 移除針對 Context 鍵棄用的程式碼 (#45585)

  • AIP-72: 將非使用者可見的程式碼移至 '_internal' (#45515)

  • AIP-72: 在 Task SDK 中新增對 'get_current_context' 的支援 (#45486)

  • 將 Literal 別名移至 TYPE_CHECKING 塊 (#45345)

  • AIP-72: 在 Task SDK 中新增 Taskflow API 支援和模板渲染 (#45444)

  • 移除 tuple_in_condition 幫助函式 (#45201)

0.0.3

注意

Provider 仍在開發中 (WIP)。可以在生產環境中使用，但在達到 1.0.0 版本之前，我們可能會引入不遵循語義化版本控制的重大變更。

注意

此 Provider 版本僅適用於 Airflow 2.9+，詳情請參閱Apache Airflow provider 支援政策。

重大變更

警告

所有已棄用的類、引數和特性都已從 standard provider 包中移除。引入了以下重大變更

  • 運算子

    • 已從 PythonOperator 以及所有 virtualenv 和 branching 派生類中移除已棄用的引數 use_dill。 請改用 serializer='dill'。

    • 已從所有 Python task decorators 以及 virtualenv 和 branching 派生類中移除已棄用的引數 use_dill。 請改用 serializer='dill'。

  • 移除 Standard 中的 Provider 棄用項 (#44541)

錯誤修復

  • 在 filesystem sensor 中新增對 StartTriggerArgs 匯入的向後相容性檢查 (#44458)

雜項

  • 移除對 AIRFLOW_V_2_9_PLUS 的引用 (#44987)

  • 將 providers 中的最低 Airflow 版本提升至 Airflow 2.9.0 (#44956)

  • 移除為 AIP-44 引入的 Pydantic 模型 (#44552)

  • 在 providers 中檢查 Airflow 版本的一致方式 (#44686)

  • Deferrable sensors 可以實現 sensor 超時 (#33718)

  • 從 renderedtifields.py 中移除 AIP-44 程式碼 (#44546)

  • 從 taskinstance 中移除 AIP-44 (#44540)

  • 將 'LatestOnlyOperator' 運算子移至 standard provider。 (#44309)

  • 從程式碼中移除 AIP-44 配置 (#44454)

  • 將 external task sensor 移至 standard provider (#44288)

  • 將 triggers 移至 standard provider (#43608)

0.0.2

注意

Provider 仍在開發中 (WIP)。可以在生產環境中使用，但在達到 1.0.0 版本之前，我們可能會引入不遵循語義化版本控制的重大變更。

錯誤修復

  • 修復當 trigger_dag_id 被模板化時 TriggerDagRunOperator 的 extra_link (#42810)

雜項

  • 將 'TriggerDagRunOperator' 移至 standard provider (#44053)

  • 將 filesystem sensor 移至 standard provider (#43890)

  • 在整個程式碼庫中將 execution_date 重新命名為 logical_date (#43902)

0.0.1

注意

Provider 仍在開發中 (WIP)。可以在生產環境中使用，但在達到 1.0.0 版本之前，我們可能會引入不遵循語義化版本控制的重大變更。

注意

此 provider 透過從 Airflow 2 core 遷移 operators/sensors/hooks 建立。

重大變更

  • 在 BranchDayOfWeekOperator、 DayOfWeekSensor、 BranchDateTimeOperator 中，引數 use_task_execution_date 已被移除。 請使用 use_task_logical_date。

  • PythonVirtualenvOperator 使用內建的 venv 代替 virtualenv 包。

  • is_venv_installed 方法已從 PythonVirtualenvOperator 中移除，因為 venv 是內建的。

  • 此 provider 的初始版本。 (#41564)

此條目有幫助嗎？