apache-airflow-providers-docker
變更日誌¶
4.3.1¶
雜項¶
使 '@task' 從 airflow.sdk 匯入 (#48896)
4.3.0¶
新特性¶
使 docker swarm 服務 名稱 可定製 (#47957)
4.2.1¶
雜項¶
將 flit 升級到 3.11.0 (#46938)
4.2.0¶
注意
此版本沒有程式碼改動。由於之前版本存在打包問題而被撤回，因此重新發布此版本。
4.1.0¶
新特性¶
新特性: 支援 docker operator 引數 'labels' (#46643)
錯誤修復¶
修復 f-string ruff 靜態檢查 (#46813)在 find 命令中 使用引號 引用檔案路徑 (#46795)更新 DockerSwarmOperator 的 auto_remove 引數以與 DockerOperator 對齊 (#45745)
雜項¶
在 find 命令中 使用 env 引用檔案路徑 (#46809)AIP-72: 在 SDK 中支援更好的 Context 字典型別提示 (#45583)將 Literal 別名移至 TYPE_CHECKING 塊中 (#45345)
4.0.0¶
注意
此提供程式版本僅適用於 Airflow 2.9+，具體說明請參閱 Apache Airflow 提供程式支援政策。
重大變更¶
警告
所有已棄用的類、引數和功能已從 Kubernetes 提供程式包中移除。以下是引入的重大變更：
- 裝飾器
已移除棄用的引數
use_dill。請改用serializer='dill'。
- Operator
已移除棄用的引數
use_dill。請改用serializer='dill'。已移除棄用的引數
skip_exit_code。請改用skip_on_exit_code。已移除棄用的方法
get_hook()。請改用hook屬性。
移除 Docker 中的提供程式棄用項 (#44583)
雜項¶
將提供程式中的最低 Airflow 版本提升至 Airflow 2.9.0 (#44956)修復 docker 文件中的 auth url (#44112)更新多個提供程式文件中的 DAG 示例連結 (#44034)
3.14.1¶
錯誤修復¶
修復 Docker operator 日誌中開頭的空格 (#33692) (#43840)
雜項¶
將 python operator 移至 Standard 提供程式 (#42081)
3.14.0¶
新特性¶
為 DockerSwarmOperator 新增 logging device 和 logging device options (#41416)為 docker swarm operator 新增 retrieve output 功能 (#41531)
3.13.0¶
注意
此提供程式版本僅適用於 Airflow 2.8+，具體說明請參閱 Apache Airflow 提供程式支援政策。
雜項¶
新特性(docker): 將 'use_dill' 替換為 'serializer' (#41356)將提供程式中的最低 Airflow 版本提升至 Airflow 2.8.0 (#41396)
3.12.3¶
錯誤修復¶
DockerSwarmOperator: 支援服務日誌中的換行符 (#40705)
3.12.2¶
錯誤修復¶
DockerOperator TaskFlow - 修正 python 命令中的引數拼寫 (#39620)
雜項¶
改進 DockerOperator 的日誌記錄行為 (#40489)
3.12.1¶
雜項¶
將最低 docker 版本提升至 7.1.0 (#39839)
3.12.0¶
新特性¶
為 docker service ContainerSpec 新增 args (#39464)為 DockerSwarmOperator 新增定義 Resources 的支援 (#39027)
雜項¶
加快 'airflow_version' 匯入速度 (#39552)簡化 'airflow_version' 匯入 (#39497)限制 botocore 升級測試中的 requests (#39747)由於與 docker-py 不相容，鎖定 requests 版本 (#39740)
3.11.0¶
注意
此提供程式版本僅適用於 Airflow 2.7+，具體說明請參閱 Apache Airflow 提供程式支援政策。
雜項¶
將提供程式中的最低 Airflow 版本提升至 Airflow 2.7.0 (#39240)
3.10.0¶
注意
當設定了標準的 DOCKER_HOST 環境變數時，它現在會覆蓋 docker_url 引數的預設值。如果設定了 DOCKER_HOST 但您想使用之前的預設值，則必須在 DockerOperator 建構函式或 @task.docker 裝飾器中顯式設定 docker_url="unix://var/run/docker.sock"。
新特性¶
改進 'DockerOperator' 以支援多個 Docker 主機 (#38466)
錯誤修復¶
修復 'MappedOperator' 中棄用的 'DockerOperator' operator 引數 (#38379)
雜項¶
移除 importlib_metadata 中冗餘的相容性用法 (#38368)DockerOperator: 使用 DOCKER_HOST 作為 docker_url 的預設值 (#38387)
3.9.2¶
錯誤修復¶
修復 'docker>=7' 的 'docker.TLSConfig' 構造問題 (#37481)
3.9.1¶
錯誤修復¶
允許 DockerOperator.skip_on_exit_code 為零 (#36360)
雜項¶
移除 Docker Provider 中剩餘的 Airflow 2.5 向後相容程式碼 (#36325)
3.9.0¶
注意
此提供程式版本僅適用於 Airflow 2.6+，具體說明請參閱 Apache Airflow 提供程式支援政策。
錯誤修復¶
修復 'enable_logging=True' 在 'DockerSwarmOperator' 中不工作的問題 (#35677)修復由 #35677 導致的日誌流損壞問題 (#36127)
雜項¶
將提供程式中的最低 Airflow 版本提升至 Airflow 2.6.0 (#36017)在子類中遵循 BaseHook connection fields 方法簽名 (#36086)
3.8.2¶
雜項¶
重構 docker operator 屬性驗證和文件 (#35571)
3.8.1¶
錯誤修復¶
修復 '_DockerDecoratedOperator' 模組型別屬性 pickle 錯誤 (#35293)
3.8.0¶
注意
此提供程式版本僅適用於 Airflow 2.5+，具體說明請參閱 Apache Airflow 提供程式支援政策。
新特性¶
為 DockerOperator 新增 ulimits 引數 (#34284)
雜項¶
提升提供程式的最低 airflow 版本 (#34728)在 DockerOperator 中棄用 get_hook 方法 (#34432)
3.7.5¶
雜項¶
清理 Docker operator 的日誌記錄 (#33914)在 Airflow 提供程式中用解包替換序列連線 (#33933)在提供程式中使用字面量字典代替呼叫 dict() (#33761)在 DockerOperator 中用 isinstance 替換 type func (#33759)
3.7.4¶
雜項¶
重構: 改進重複項檢測和列表排序 (#33675)簡化其他提供程式中 len() 的條件 (#33569)用適當的格式化替換 repr() (#33520)
3.7.3¶
雜項¶
重構: 簡化 providers/docker 中的程式碼 (#33232)
3.7.2¶
雜項¶
移除 Python2 中的數字遺留程式碼 (#33050)
3.7.1¶
注意
此版本放棄了對 Python 3.7 的支援
雜項¶
移除對 Python 3.7 的支援 (#30963)
3.7.0¶
注意
此提供程式版本僅適用於 Airflow 2.4+，具體說明請參閱 Apache Airflow 提供程式支援政策。
雜項¶
提升提供程式中的最低 Airflow 版本 (#30917)
3.6.0¶
新特性¶
在 'DockerOperator' 和 'KubernetesPodOperator' 的跳過邏輯中新增多種退出程式碼處理 (#30769)在 'DockerOperator' 中，新增屬性 'tls_verify' 以選擇是否驗證證書 (#30309) (#30310)
雜項¶
在 'DockerOperator' 和 'KubernetesPodOperator' 中棄用 'skip_exit_code' (#30733)
3.5.1¶
錯誤修復¶
修復裝飾器 'task.docker' 中的 template_fields (#29586)
3.5.0¶
新特性¶
在 Docker Hook 中新增正確的 widgets (#28700)使 docker operators 始終使用 'DockerHook' 進行 API 呼叫 (#28363)當 DockerOperator task 返回指定的退出程式碼時跳過該任務 (#28996)
錯誤修復¶
修復 Docker 連線中 'reauth' 欄位的標籤名稱 (#28974)
3.4.0¶
新特性¶
為 DockerOperator 新增 hostname 引數 (#27822)將 Docker Provider 的最低 airflow 版本降至 2.3.0 (#28648)
3.3.0¶
注意
此提供程式版本僅適用於 Airflow 2.3+，具體說明請參閱 Apache Airflow 提供程式支援政策。
雜項¶
將所有提供程式的最低 airflow 版本移至 2.3.0 (#27196)
新特性¶
為 DockerOperator 新增 ipc_mode (#27553)為 Docker Operator 新增 env-file 引數 (#26951)
3.2.0¶
新特性¶
為 docker operator 新增日誌記錄選項 (#26653)為 custom_operator_name 新增 pre-commit 鉤子 (#25786)實現 ExternalPythonOperator (#25780)
錯誤修復¶
3.1.0¶
新特性¶
在 DockerOperator 執行後強制移除容器 (#23160)
錯誤修復¶
'DockerOperator' 修復 cli.logs 返回字元陣列而不是字串的問題 (#24726)
3.0.0¶
重大變更¶
注意
此提供程式版本僅適用於 Airflow 2.2+，具體說明請參閱 Apache Airflow 提供程式支援政策。
雜項¶
從 'DockerOperator' 中移除 'xcom_push' (#23981)docker 新系統測試 (#23167)
2.7.0¶
新特性¶
為 'DockerOperator' 新增 'device_requests' 引數 (#23554)
錯誤修復¶
修復 main 中的新的 MyPy 錯誤 (#22884)
2.6.0¶
新特性¶
為 'DockerOperator' 新增 timeout 引數 (#22502)
2.5.2¶
錯誤修復¶
修復錯誤地為所有提供程式新增 install_requires 的問題 (#22382)
雜項¶
修正 'multiple_outputs' 引數描述中提到列表/元組的部分 (#22371)
2.5.1¶
錯誤修復¶
避免在 Docker 容器未成功時嘗試殺死容器 (#22145)
雜項¶
在 PyPI 中新增 Trove 分類器 (Framework :: Apache Airflow :: Provider)
2.5.0¶
新特性¶
添加了 docker network_mode 選項 (#21986)
雜項¶
支援 Python 3.10
2.4.1¶
錯誤修復¶
修復 Docker xcom 功能問題 (#21175)修復 docker 返回位元組行時的行為問題 (#21429)
2.4.0¶
新特性¶
允許 DockerOperator 的 image 引數支援模板 (#19997)
2.3.0¶
新特性¶
為 DockerSwarmOperator 新增 placement 支援 (#18990)
錯誤修復¶
修正字串連線問題 (#19099)移除 docker timeout 變通方案 (#18872)
其他¶
將 docker 裝飾器示例 dag 移至 docker 提供程式 (#18739)
2.2.0¶
新特性¶
新增一個 Docker Taskflow 裝飾器 (#15330)
此版本的 Docker 提供程式包含一個新特性 - TaskFlow 裝飾器，該特性僅適用於 Airflow 2.2。如果您在低於 Airflow 2.2 的版本中嘗試使用該裝飾器，將會出錯。
AttributeError: '_TaskDecorator' object has no attribute 'docker'
2.1.1¶
新特性¶
為 DockerSwarmOperator 新增 對 configs, secrets, networks 和 replicas 的 支援 (#17474)
雜項¶
最佳化 Airflow 2.2.0 的 連線 匯入
2.1.0¶
新特性¶
在 DockerOperator 中 新增 停用 臨時 資料夾 掛載 的 選項 (#16932)
Bug 修復¶
[FIX] Docker provider - 重試 docker in docker (#17061)修復 使用 xcom / json 時的 字串 編碼 (#13536)如果
xcom_all設定為False，則只有日誌的最後一行（由\n分隔）將包含在 XCom 值中
版本 2.0.0 中的 DockerOperator 對遠端 Docker Engine 或 Docker-In-Docker 情況無效。這是 #15843 的意外副作用，已在 #16932 中修復。存在一個回退模式，該模式將使 Docker Operator 在有警告的情況下工作，並且您可以使用新引數停用資料夾掛載來消除警告。
2.0.0¶
破壞性變更¶
自動應用 apply_default decorator (#15667)
警告
由於 apply_default decorator 已被移除，此版本的 provider 需要 Airflow 2.1.0+。如果您的 Airflow 版本 < 2.1.0，並且您想安裝此 provider 版本，請先將 Airflow 升級到至少 2.1.0 版本。否則，您的 Airflow 包版本將自動升級，並且您將不得不手動執行 airflow upgrade db 來完成遷移。
將 DockerOperator 的 'volumes' 引數替換為 'mounts' (#15843)
airflow.providers.docker.operators.docker.DockerOperator 和 airflow.providers.docker.operators.docker_swarm.DockerSwarmOperator 中的 volumes 引數已被 mounts 引數替換，後者使用較新的 mount syntax 而不是 --bind。
1.2.0¶
新特性¶
在 docker operator 中 支援 Entrypoint (#14642)將 PythonVirtualenvDecorator 新增到 Taskflow API (#14761)在 Docker Swarm Operator 中 支援所有 terminus 任務 狀態 (#14960)
1.1.0¶
新特性¶
在 DockerOperator 中 新增 privileged 選項 (#14157)
1.0.2¶
Bug 修復¶
在 釋出 provider RCs 後 對 文件 和 工具 進行更正 (#14082)
1.0.1¶
更新了文件和 readme 檔案。
Bug 修復¶
使用 auto_remove=True 移除失敗的 DockerOperator 任務 (#13532) (#13993)修復 auto_remove 為 True 時 DockerSwarmOperator 上的錯誤 (#13532) (#13852)
1.0.0¶
Provider 的初始版本。