apache-airflow-providers-apache-beam
更新日誌¶
6.0.4¶
雜項¶
remove superfluous else block (#49199)
6.0.3¶
Bug 修復¶
Fix beam pipeline options False value parsing (#47419)
雜項¶
Upgrade flit to 3.11.0 (#46938)
6.0.2¶
注意
此版本沒有程式碼更改。釋出此版本是由於之前版本存在打包問題而被撤下。
6.0.1¶
Bug 修復¶
Fix DataflowJobLink for Beam operators in deferrable mode (#45023)
雜項¶
Set minimum dependencies for apache-beam on Py 3.12+3.13 (#46321)Limit Apache Beam's numpy used (#46286)Refactor deferrable mode for BeamRunPythonPipelineOperator and BeamRunJavaPipelineOperator (#46678)
6.0.0¶
注意
此 Provider 版本僅適用於 Airflow 2.9+，具體說明請參見 Apache Airflow Provider 支援策略。
重大變更¶
警告
所有已棄用的類、引數和特性已從 Airbyte provider 包中移除。引入了以下重大變更：
從
trigger中移除了BeamPipelineTrigger類。請改用class:`airflow.providers.apache.beam.triggers.beam.BeamPythonPipelineTrigger類。
Removed deprecated code (#44700)
Bug 修復¶
Fix deferrable mode of BeamRunPythonPipelineOperator (#44386)
雜項¶
Bump minimum Airflow version in providers to Airflow 2.9.0 (#44956)Update DAG example links in multiple providers documents (#44034)
5.9.1¶
雜項¶
Standard provider python operator (#42081)
5.9.0¶
特性¶
Add early job_id xcom_push for google provider Beam Pipeline operators (#42982)
5.8.1¶
Bug 修復¶
Bugfix/dataflow job location passing (#41887)
5.8.0¶
注意
此 Provider 版本僅適用於 Airflow 2.8+，具體說明請參見 Apache Airflow Provider 支援策略。
雜項¶
Bump minimum Airflow version in providers to Airflow 2.8.0 (#41396)
5.7.2¶
Bug 修復¶
Fix BeamRunJavaPipelineOperator fails without job_name set (#40645)
5.7.1¶
Bug 修復¶
Fix deferrable mode for BeamRunJavaPipelineOperator (#39371)
雜項¶
Faster 'airflow_version' imports (#39552)Simplify 'airflow_version' imports (#39497)
5.7.0¶
注意
此 Provider 版本僅適用於 Airflow 2.7+，具體說明請參見 Apache Airflow Provider 支援策略。
Bug 修復¶
Bugfix to correct GCSHook being called even when not required with BeamRunPythonPipelineOperator (#38716)
雜項¶
Bump minimum Airflow version in providers to Airflow 2.7.0 (#39240)
5.6.3¶
Bug 修復¶
fix: skip apache beam pipeline options if value is set to false (#38496)Fix side-effect of default options in Beam Operators (#37916)Avoid to use subprocess in asyncio loop (#38292)Avoid change attributes into the constructor in Apache Beam operators (#37934)
5.6.2¶
雜項¶
Add Python 3.12 exclusions in providers/pyproject.toml (#37404)
5.6.1¶
雜項¶
feat: Switch all class, functions, methods deprecations to decorators (#36876)
5.6.0¶
雜項¶
Get rid of pyarrow-hotfix for CVE-2023-47248 (#36697)
5.5.0¶
特性¶
Add ability to run streaming Job for BeamRunPythonPipelineOperator in non deferrable mode (#36108)Implement deferrable mode for BeamRunJavaPipelineOperator (#36122)
5.4.0¶
注意
此 Provider 版本僅適用於 Airflow 2.6+，具體說明請參見 Apache Airflow Provider 支援策略。
雜項¶
Bump minimum Airflow version in providers to Airflow 2.6.0 (#36017)
5.3.0¶
注意
此 Provider 版本僅適用於 Airflow 2.5+，具體說明請參見 Apache Airflow Provider 支援策略。
雜項¶
Bump min airflow version of providers (#34728)Use 'airflow.exceptions.AirflowException' in providers (#34511)
5.2.3¶
雜項¶
Replace sequence concatenation by unpacking in Airflow providers (#33933)Improve modules import in Airflow providers by some of them into a type-checking block (#33754)
5.2.2¶
Bug 修復¶
Fix wrong OR condition when evaluating beam version < 2.39.0 (#33308)
雜項¶
Refactor: Simplify code in Apache/Alibaba providers (#33227)
5.2.1¶
雜項¶
Allow downloading requirements file from GCS in 'BeamRunPythonPipelineOperator' (#31645)
5.2.0¶
特性¶
Add deferrable mode to 'BeamRunPythonPipelineOperator' (#31471)
5.1.1¶
注意
此版本放棄了對 Python 3.7 的支援
雜項¶
Add note about dropping Python 3.7 for providers (#32015)
5.1.0¶
注意
此 Provider 版本僅適用於 Airflow 2.4+，具體說明請參見 Apache Airflow Provider 支援策略。
雜項¶
Bump minimum Airflow version in providers (#30917)Update SDKs for google provider package (#30067)
5.0.0¶
重大變更¶
警告
在此版本的 provider 中，所有 Beam operator 中已棄用的 GCS 和 Dataflow hook 引數 delegate_to 已被移除。可以透過利用 impersonation_chain 引數來實現模擬。
remove delegate_to from GCP operators and hooks (#30748)
4.3.0¶
特性¶
Get rid of state in Apache Beam provider hook (#29503)
4.2.0¶
特性¶
Add support for running a Beam Go pipeline with an executable binary (#28764)
雜項¶
Deprecate 'delegate_to' param in GCP operators and update docs (#29088)
4.1.1¶
Bug 修復¶
Ensure Beam Go file downloaded from GCS still exists when referenced (#28664)
4.1.0¶
注意
此 Provider 版本僅適用於 Airflow 2.3+，具體說明請參見 Apache Airflow Provider 支援策略。
雜項¶
Move min airflow version to 2.3.0 for all providers (#27196)
特性¶
Add backward compatibility with old versions of Apache Beam (#27263)
4.0.0¶
重大變更¶
注意
此 Provider 版本僅適用於 Airflow 2.2+，具體說明請參見 Apache Airflow Provider 支援策略。
特性¶
Added missing project_id to the wait_for_job (#24020)Support impersonation service account parameter for Dataflow runner (#23961)
雜項¶
chore: Refactoring and Cleaning Apache Providers (#24219)
3.4.0¶
特性¶
Support serviceAccount attr for dataflow in the Apache beam
3.3.0¶
特性¶
Add recipe for BeamRunGoPipelineOperator (#22296)
Bug 修復¶
Fix mistakenly added install_requires for all providers (#22382)
3.2.1¶
雜項¶
Add Trove classifiers in PyPI (Framework :: Apache Airflow :: Provider)
3.2.0¶
特性¶
Add support for BeamGoPipelineOperator (#20386)
雜項¶
Support for Python 3.10
3.1.0¶
特性¶
Use google cloud credentials when executing beam command in subprocess (#18992)
3.0.1¶
雜項¶
Optimise connection importing for Airflow 2.2.0
3.0.0¶
重大變更¶
Auto-apply apply_default decorator (#15667)
警告
由於移除了 `apply_default` decorator，此版本的 provider 要求 Airflow 版本為 2.1.0+。如果您的 Airflow 版本低於 2.1.0，並且您想安裝此版本的 provider，請先將 Airflow 升級到至少 2.1.0 版本。否則，您的 Airflow 包版本將自動升級，您將不得不手動執行 airflow upgrade db 來完成遷移。
2.0.0¶
重大變更¶
與 google provider 的整合¶
在 provider 的 2.0.0 版本中，我們改變了與 google provider 整合的方式。之前版本的這兩個 provider 在使用 PIP > 20.2.4 安裝時會發生衝突。PIP 20.2.4 及以下版本檢測不到此衝突，但衝突確實存在，而且 Google BigQuery python 客戶端的版本在兩側不匹配。因此，當同時安裝 apache.beam 和 google provider 時，BigQuery operator 的某些功能可能無法正常工作。這是因為當使用 apache-beam[gcp] extra 時，apache-beam 客戶端尚不支援新的 google python 客戶端。apache-beam[gcp] extra 被 Dataflow operator 使用，雖然它們可能與更新版本的 Google BigQuery python 客戶端一起工作，但不能保證。
此版本為 google provider 的 apache.beam extra 引入了額外的要求，同時為 apache.beam provider 的 google extra 引入了額外的要求。google 和 apache.beam provider 預設都不使用這些 extra，但您可以在安裝 provider 時指定它們。這樣做的後果是，Dataflow operator 的某些功能可能無法使用。
不幸的是，解決此問題的唯一 完整 方案是讓 apache.beam 遷移到新的 (>=2.0.0) Google Python 客戶端。
這是 google provider 的 extra
extras_require = (
{
# ...
"apache.beam": ["apache-airflow-providers-apache-beam", "apache-beam[gcp]"],
# ...
},
)
同樣，這是 apache.beam provider 的 extra
extras_require = ({"google": ["apache-airflow-providers-google", "apache-beam[gcp]"]},)
您仍然可以在 PIP 版本 <= 20.2.4 下執行，回到之前的行為
pip install apache-airflow-providers-google[apache.beam]
或
pip install apache-airflow-providers-apache-beam[google]
但請注意，在這種情況下，BigQuery operator 的某些功能可能不可用。
1.0.1¶
Bug 修復¶
Improve Apache Beam operators - refactor operator - common Dataflow logic (#14094)Corrections in docs and tools after releasing provider RCs (#14082)Remove WARNINGs from BeamHook (#14554)
1.0.0¶
provider 的初始版本。