apache-airflow-providers-apache-hive

更新日誌

9.0.6¶

雜項¶

remove superfluous else block (#49199)

僅文件¶

Improve example docs around SQLExecuteQueryOperator in Druid/Hive/Impala/Kylin/Pinot (#48856)

9.0.5¶

雜項¶

Fix MyPy failing on mssql Cursor (#48686)
Tell mypy that pymssql.BINARY, etc have a .value (#48671)

9.0.4¶

雜項¶

Setting Airflow context Environment variables for operators (#47644)

9.0.3¶

雜項¶

Upgrade flit to 3.11.0 (#46938)

9.0.2¶

注意

此版本無程式碼更改。釋出此版本是由於之前版本因打包問題而被撤回。

9.0.1¶

雜項¶

AIP-72: Support better type-hinting for Context dict in SDK (#45583)
Remove obsolete pandas specfication for pre-python 3.9 (#45399)

9.0.0¶

注意

提供方此版本僅適用於 Airflow 2.9+，具體說明請參閱 Apache Airflow providers support policy。

重大變更¶

警告

所有已棄用的類、引數和功能已從 {provider_name} 提供方軟體包中移除。引入了以下重大變更：

移除了 auth_mechanism 中已棄用的 GSSAPI。請改用 KERBEROS。

Remove deprecations from Apache hive Provider (#44715)

雜項¶

Bump minimum Airflow version in providers to Airflow 2.9.0 (#44956)
Update DAG example links in multiple providers documents (#44034)
Rename execution_date to logical_date across codebase (#43902)

8.2.1¶

雜項¶

Add support for semicolon stripping to DbApiHook, PrestoHook, and TrinoHook (#41916)
Explain how to use uv with airflow virtualenv and make it works (#43604)
Move 'uncompress_file' function from 'airflow.utils' to Hive provider (#43526)

8.2.0¶

注意

提供方此版本僅適用於 Airflow 2.8+，具體說明請參閱 Apache Airflow providers support policy。

雜項¶

Bump minimum Airflow version in providers to Airflow 2.8.0 (#41396)

8.1.2¶

雜項¶

Update pandas minimum requirement for Python 3.12 (#40272)
implement per-provider tests with lowest-direct dependency resolution (#39946)

8.1.1¶

雜項¶

Faster 'airflow_version' imports (#39552)
Simplify 'airflow_version' imports (#39497)
Improvising high availability field name in hive hook (#39658)

8.1.0¶

注意

提供方此版本僅適用於 Airflow 2.7+，具體說明請參閱 Apache Airflow providers support policy。

雜項¶

Bump minimum Airflow version in providers to Airflow 2.7.0 (#39240)

8.0.0¶

重大變更¶

將 hive cli 連線中 use_beeline 的預設值更改為 True。在此連線型別中，Beeline 將始終預設啟用。

從 HiveHook 和依賴的運算子中移除了已棄用的引數 authMechanism。請改在 extra 中使用 auth_mechanism。

HiveOperator: 移除了方法 get_hook，請改用 hook 屬性。

HiveStatsCollectionOperator: 移除了已棄用的 col_blacklist，請改用 excluded_columns。

Setting use_beeline by default for hive cli connection (#38763)
Removing deprecated code in hive provider (#38859)

新特性¶

Adding support to hive hook for high availability Hive installations (#38651)

7.0.1¶

雜項¶

Remove references from the code to Jira Issues (#37807)
Unify 'aws_conn_id' type to always be 'str | None' (#37768)
Limit 'pandas' to '<2.2' (#37748)

7.0.0¶

重大變更¶

移除了在連線中將代理使用者指定為 owner 或 login 或 as_param 的能力。現在，透過設定 Proxy User 連線引數或將 proxy_user 傳遞給 HiveHook 即可實現此功能。

簡化 hive 客戶端連線 (#37043)

雜項¶

Fix pyhive hive_pure_sasl extra name (#37323)

6.4.2¶

Bug 修復¶

Fix assignment of template field in '__init__' in 'hive-stats' (#36905)

雜項¶

Set min pandas dependency to 1.2.5 for all providers and airflow (#36698)

6.4.1¶

Bug 修復¶

Fix assignment of template field in '__init__' in 'hive_to_samba.py' (#36486)

6.4.0¶

新特性¶

Add param proxy user for hive (#36221)

雜項¶

Add code snippet formatting in docstrings via Ruff (#36262)

6.3.0¶

注意

提供方此版本僅適用於 Airflow 2.6+，具體說明請參閱 Apache Airflow providers support policy。

雜項¶

Bump minimum Airflow version in providers to Airflow 2.6.0 (#36017)

6.2.0¶

注意

提供方此版本僅適用於 Airflow 2.5+，具體說明請參閱 Apache Airflow providers support policy。

雜項¶

Bump min airflow version of providers (#34728)
Consolidate hook management in HiveOperator (#34430)

6.1.6¶

雜項¶

Refactor regex in providers (#33898)
Replace sequence concatenation by unpacking in Airflow providers (#33933)
Replace single element slice by next() in hive provider (#33937)
Use a single statement with multiple contexts instead of nested statements in providers (#33768)
Use startswith once with a tuple in Hive hook (#33765)
Refactor: Simplify a few loops (#33736)
E731: replace lambda by a def method in Airflow providers (#33757)
Use f-string instead of in Airflow providers (#33752)

6.1.5¶

注意

該提供方現在使用 pure-sasl，這是一個純 Python 實現的 SASL，相比之前的 sasl 實現維護得更好，儘管 sasl 介面速度稍慢。它還允許為 Python 3.11 安裝 hive。

雜項¶

Bring back hive support for Python 3.11 (#32607)
Refactor: Simplify code in Apache/Alibaba providers (#33227)
Simplify 'X for X in Y' to 'Y' where applicable (#33453)
Replace OrderedDict with plain dict (#33508)
Simplify code around enumerate (#33476)
Use str.splitlines() to split lines in providers (#33593)
Simplify conditions on len() in providers/apache (#33564)
Replace repr() with proper formatting (#33520)
Avoid importing pandas and numpy in runtime and module level (#33483)
Consolidate import and usage of pandas (#33480)

6.1.4¶

雜項¶

Bring back mysql-connector-python as required depednency (#32989)

6.1.3¶

Bug 修復¶

Fix Pandas2 compatibility for Hive (#32752)

雜項¶

Add more accurate typing for DbApiHook.run method (#31846)
Move Hive configuration to Apache Hive provider (#32777)

6.1.2¶

Bug 修復¶

Add proxy_user template check (#32334)

6.1.1¶

注意

此版本停止支援 Python 3.7

Bug 修復¶

Sanitize beeline principal parameter (#31983)

雜項¶

Replace unicodecsv with standard csv library (#31693)

6.1.0¶

注意

提供方此版本僅適用於 Airflow 2.4+，具體說明請參閱 Apache Airflow providers support policy。

雜項¶

Bump minimum Airflow version in providers (#30917)
Update return types of 'get_key' methods on 'S3Hook' (#30923)

6.0.0¶

重大變更¶

認證選項已從 extra 欄位移至 Hook 中的 auth 引數。如果您的連線中將 extra 引數定義為 auth，則應將其移至使用 HiveOperator 或其他與 Hive 相關的運算子的 DAG 中。

Move auth parameter from extra to Hook parameter (#30212)

5.1.3¶

Bug 修復¶

Validate Hive Beeline parameters (#29502)

5.1.2¶

雜項¶

Fixed MyPy errors introduced by new mysql-connector-python (#28995)

5.1.1¶

Bug 修復¶

Move local_infile option from extra to hook parameter (#28811)

5.1.0¶

新特性¶

apache.hive 提供方現在提供以前由 Airflow 提供的 hive 宏。自 apache.hive 5.1.0 版本起，hive 宏由提供方提供。

Move Hive macros to the provider (#28538)
Make pandas dependency optional for Amazon Provider (#28505)

5.0.0¶

重大變更¶

連線中的 hive_cli_params 已移至 Hook。如果您的連線中將 hive_cli_params 定義為 extra 引數，則應將其移至使用 HiveOperator 的 DAG 中。

Move hive_cli_params to hook parameters (#28101)

新特性¶

Improve filtering for invalid schemas in Hive hook (#27808)

4.1.1¶

Bug 修復¶

Bump common.sql provider to 1.3.1 (#27888)

4.1.0¶

注意

提供方此版本僅適用於 Airflow 2.3+，具體說明請參閱 Apache Airflow providers support policy。

雜項¶

Move min airflow version to 2.3.0 for all providers (#27196)

Bug 修復¶

Filter out invalid schemas in Hive hook (#27647)

4.0.1¶

雜項¶

Add common-sql lower bound for common-sql (#25789)

4.0.0¶

重大變更¶

HiveServer2Hook 中 get_records 的 hql 引數已重新命名為 sql，以匹配 get_records DbApiHook 的簽名。如果您將其用作位置引數，則無需更改，但如果將其用作關鍵字引數，則需要重新命名。
hive_conf 引數已重新命名為 parameters，並且現在是第二個引數，以匹配 DbApiHook 中 get_records 的簽名。如果您使用了它，則需要重新命名。
get_records 中的 schema 引數是一個可選的 kwargs extra 引數，您可以新增它以匹配 DbApiHook 中 get_records 的模式。
Deprecate hql parameters and synchronize DBApiHook method APIs (#25299)
Remove Smart Sensors (#25507)

3.1.0¶

新特性¶

Move all SQL classes to common-sql provider (#24836)

Bug 修復¶

fix connection extra parameter 'auth_mechanism' in 'HiveMetastoreHook' and 'HiveServer2Hook' (#24713)

3.0.0¶

重大變更¶

注意

提供方此版本僅適用於 Airflow 2.2+，具體說明請參閱 Apache Airflow providers support policy。

雜項¶

chore: Refactoring and Cleaning Apache Providers (#24219)
AIP-47 - Migrate hive DAGs to new design #22439 (#24204)

2.3.3¶

Bug 修復¶

Fix HiveToMySqlOperator's wrong docstring (#23316)

2.3.2¶

Bug 修復¶

Fix mistakenly added install_requires for all providers (#22382)

2.3.1¶

雜項¶

Add Trove classifiers in PyPI (Framework :: Apache Airflow :: Provider)

2.3.0¶

新特性¶

Set larger limit get_partitions_by_filter in HiveMetastoreHook (#21504)

Bug 修復¶

Fix Python 3.9 support in Hive (#21893)
修復 'template_fields_renderers' 中針對 'HiveOperator' 的關鍵拼寫錯誤 (#21525)

雜項¶

支援 Python 3.10
新增針對 hive operator 的操作指南 (#21590)

2.2.0¶

新特性¶

新增更多 SQL 模板欄位渲染器 (#21237)
針對新的 SQL 詞法分析器新增條件 'template_fields_renderers' 檢查 (#21403)

2.1.0¶

新特性¶

hive provider: 恢復對 metastore 的 HA 支援 (#19777)

Bug 修復¶

2.0.3¶

Bug 修復¶

修復 hivemetastore hook 中 get_connections 棄用警告 (#18854)

2.0.2¶

Bug 修復¶

HiveHook 修復 get_pandas_df() 在嘗試讀取空表時發生的失敗 (#17777)

雜項¶

最佳化 Airflow 2.2.0 的連線匯入

2.0.1¶

新特性¶

新增 Python 3.9 支援 (#15515)

2.0.0¶

重大變更¶

自動應用 apply_default 裝飾器 (#15667)

警告

由於移除了 apply_default 裝飾器，此版本的 provider 要求 Airflow 2.1.0+。如果您的 Airflow 版本低於 2.1.0，並且您希望安裝此 provider 版本，請首先將 Airflow 升級到至少 2.1.0 版本。否則，您的 Airflow 包版本將自動升級，您將不得不手動執行 airflow upgrade db 來完成遷移。

1.0.3¶

Bug 修復¶

修復文件/docstrings 中的錯誤和拼寫錯誤 (#15180)
修復語法錯誤並刪除重複詞彙 (#14647)
解決與 HiveCliHook kill 相關的問題 (#14542)

1.0.2¶

Bug 修復¶

在釋出 provider RC 版本後，對文件和工具進行修正 (#14082)

1.0.1¶

更新了文件和 README 檔案。

Bug 修復¶

如果在 LDAP 或 CUSTOM 模式下，移除 HiveServer2Hook 的密碼 (#11767)

1.0.0¶

此 provider 的初始版本。