apache-airflow-providers-apache-hdfs
更新日誌¶
4.8.1¶
雜項¶
移除 多餘的 else 塊 (#49199)
4.8.0¶
新特性¶
新增 在 Airflow 3 中 讀寫 HDFS 任務日誌的 支援 (#48788)
4.7.1¶
雜項¶
將 flit 升級到 3.11.0 (#46938)
4.7.0¶
注意
此提供程式版本僅適用於 Airflow 2.9+，如 Apache Airflow 提供程式支援策略中所述。
新特性¶
向 WebHDFSHook 新增 mTLS 支援 (#44561)
雜項¶
將 提供程式中的 最低 Airflow 版本 提高到 Airflow 2.9.0 (#44956)
4.6.0¶
新特性¶
添加了 MultipleFilesWebHdfsSensor (#43045)
雜項¶
修復了 失敗的 靜態檢查 & 提供程式測試 (#43122)
4.5.1¶
雜項¶
移除 已棄用的 日誌處理器引數 filename_template (#41552)
4.5.0¶
注意
此提供程式版本僅適用於 Airflow 2.8+，如 Apache Airflow 提供程式支援策略中所述。
雜項¶
將 提供程式中的 最低 Airflow 版本 提高到 Airflow 2.8.0 (#41396)
4.4.2¶
雜項¶
更新 Python 3.12 的 pandas 最低要求 (#40272)使用 最低直接依賴解析 實現 按提供程式進行的 測試 (#39946)
4.4.1¶
雜項¶
更快的 'airflow_version' 匯入 (#39552)簡化 'airflow_version' 匯入 (#39497)
4.4.0¶
注意
此提供程式版本僅適用於 Airflow 2.7+，如 Apache Airflow 提供程式支援策略中所述。
雜項¶
將 提供程式中的 最低 Airflow 版本 提高到 Airflow 2.7.0 (#39240)
4.3.3¶
雜項¶
將 Pydantic 變為 可選依賴 (#37320)
4.3.2¶
雜項¶
將 最低 airflow 版本 提高到 2.6 後，從 hdfs 任務處理器中 移除 _read 方法 (#36425)整合 在 hdfs 任務處理器中 載入 delete_local_logs 配置 (#36422)
4.3.1¶
錯誤修復¶
修復 連線型別 webhdfs (#36145)
4.3.0¶
注意
此提供程式版本僅適用於 Airflow 2.6+，如 Apache Airflow 提供程式支援策略中所述。
雜項¶
將 提供程式中的 最低 Airflow 版本 提高到 Airflow 2.6.0 (#36017)
4.2.0¶
注意
此提供程式版本僅適用於 Airflow 2.5+，如 Apache Airflow 提供程式支援策略中所述。
雜項¶
提高 提供程式的 最低 airflow 版本 (#34728)在 提供程式中 使用 'airflow.exceptions.AirflowException' (#34511)
4.1.1¶
雜項¶
修復 hdfs 提供程式 異常訊息中的 包名 (#33813)
4.1.0¶
注意
此版本停止支援 Python 3.7
新特性¶
新增從 HDFS 讀寫任務例項日誌的功能 (#31512)
4.0.0¶
注意
此提供程式版本僅適用於 Airflow 2.4+，如 Apache Airflow 提供程式支援策略中所述。
重大變更¶
原有的 HDFS Hook 和 sensor 已移除。它使用了舊的 HDFS snakebite-py3 庫，該庫多年未更新，並且其使用的 protobuf 已達生命週期終點。
提供程式的 3.* 版本仍然可用，如果您需要使用舊的 hooks 和 sensors，可以使用該版本。
已從該提供程式中移除的 HDFSHook、HDFSSensor、HdfsRegexSensor、HdfsRegexSensor 不再可用。如果您想繼續使用它們，可以使用提供程式的 3.* 版本，但建議切換到使用 WebHDFS API 的新 WebHDFSHook 和 WebHDFSSensor。
移除 基於 snakebite-py3 的 HDFS hooks 和 sensors (#31262)
注意
snakebite-py3 庫所需的 Protobuf 3 已於 2023 年 6 月結束其生命週期，Airflow 及其提供程式已停止支援它。如果您希望在使用 protobuf 庫 4.+ 的同時繼續使用基於 snakebite-py3 庫的 HDFS hooks 和 sensors，您可以安裝提供程式的 3.* 版本，但由於 Protobuf 不相容性，您需要執行以下兩項操作之一：
在您的環境中設定
PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python變數。將 protobuf 降級到最新的 3.* 版本（目前為 3.20.3）
設定 PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python 將導致許多使用 protobuf 的庫（包括多個 Google 客戶端庫和 Kubernetes）變慢很多。將 protobuf 降級到（已結束生命週期的）3.* 版本將導致某些最新版本的新提供程式不相容（例如 google 和 grpc），您也必須降級這些提供程式。這兩者都應僅視為臨時解決方案，並且您應儘快遷移到 WebHDFS。
雜項¶
提高 提供程式中的 最低 Airflow 版本 (#30917)
3.2.1¶
錯誤修復¶
修復 HDFSHook HAClient 無效的問題 (#30164)
3.2.0¶
注意
此提供程式版本僅適用於 Airflow 2.3+，如 Apache Airflow 提供程式支援策略中所述。
雜項¶
將 所有提供程式的 最低 airflow 版本 移至 2.3.0 (#27196)
3.1.0¶
新特性¶
為 webhdfs sensor 新增 認證 (#25110)
3.0.1¶
錯誤修復¶
'WebHDFSHook' 錯誤修復/可選 埠 (#24550)
3.0.0¶
重大變更¶
此提供程式版本僅適用於 Airflow 2.2+，如 Apache Airflow 提供程式支援策略 https://github.com/apache/airflow/blob/main/README.md#support-for-providers 中所述
雜項¶
chore: 重構和 清理 Apache 提供程式 (#24219)
2.2.3¶
錯誤修復¶
修復 為所有提供程式 錯誤新增 install_requires 的問題 (#22382)
2.2.2¶
雜項¶
在 PyPI 中新增 Trove 分類器 (Framework :: Apache Airflow :: Provider)
2.2.1¶
雜項¶
支援 Python 3.10新增 WebHDFS 運算子的 how-to 指南 (#21393)
2.2.0¶
新特性¶
hdfs 提供程式： 恢復 webhdfs 的 HA 支援 (#19711)
2.1.1¶
錯誤修復¶
修復 webhdfs hook 中的 get_connections 棄用警告 (#18331)
2.1.0¶
新特性¶
hdfs 提供程式： 允許 SSL webhdfs 連線 (#17637)
雜項¶
最佳化 Airflow 2.2.0 的 連線匯入
2.0.0¶
重大變更¶
自動應用 apply_default 裝飾器 (#15667)
警告
由於移除了 apply_default 裝飾器，此版本的提供程式需要 Airflow 2.1.0+。如果您的 Airflow 版本低於 2.1.0，並且您想安裝此提供程式版本，請先將 Airflow 升級到至少 2.1.0 版本。否則您的 Airflow 包版本將自動升級，並且您必須手動執行 airflow upgrade db 來完成遷移。
1.0.1¶
更新了文件和 readme 檔案。
1.0.0¶
提供程式的初始版本。