apache-airflow-providers-google
Changelog¶
15.1.0¶
新特性¶
新增 ORC 支援 到 GCSToBigQueryOperator 並且 測試 外部 表 (#49188)
Bug 修復¶
修復 OperationHelper 中 wait_for_operation_result 的 預設值 (#49121)修復 Managed Kafka 服務的 get_confluent_token 回撥 (#48926)修復: BigQuery 連線 UI 在 編輯時 將 '使用 Legacy SQL' 預設設定為 true (#49038)
其他¶
移除 多餘的 else 程式碼塊 (#49199)棄用 DataflowHook 中的 start_sql_job (#48663)type: 註釋 在 'provider' 中缺少 type (#49130)
15.0.1¶
其他¶
棄用 Life Scrience 服務 (#48862)
僅文件¶
在 google 文件中新增 缺失的 license 註釋 (#48985)
15.0.0¶
重大變更¶
警告
已從 Google provider 包中刪除已棄用的類、引數和特性。引入了以下重大變更：
運算子
移除
MLEngineStartBatchPredictionJobOperator, 使用CreateBatchPredictionJobOperator代替移除
MLEngineManageModelOperator, 使用 Vertex AI 的MLEngineCreateModelOperator或者GetModelOperator代替移除
MLEngineDeleteModelOperator, 使用 Vertex AI 的DeleteModelOperator代替移除
MLEngineManageVersionOperator, 使用 Vertex AI 的適當的運算子代替, 例如AddVersionAliasesOnModelOperator移除
MLEngineCreateVersionOperator, VertexAI 運算子使用parent_model引數移除
MLEngineSetDefaultVersionOperator, 使用 Vertex AI 的SetDefaultVersionOnModelOperator代替移除
MLEngineListVersionsOperator, 使用 Vertex AI 的ListModelVersionsOperator代替移除
MLEngineDeleteVersionOperator, 使用 Vertex AI 的DeleteModelVersionOperator代替移除
MLEngineStartTrainingJobOperator, 使用 Vertex AI 的CreateCustomPythonPackageTrainingJobOperator代替移除
MLEngineTrainingCancelJobOperator, 使用 Vertex AI 的CancelCustomTrainingJobOperator代替移除
DataProcScaleClusterOperator, 使用DataprocUpdateClusterOperator代替移除
GoogleAdsToGcsOperator的page_size引數移除
DeleteAutoMLTrainingJobOperator.training_pipeline方法, 使用training_pipeline_id引數代替移除
DeleteCustomTrainingJobOperator.training_pipeline方法, 使用training_pipeline_id引數代替移除
DeleteCustomTrainingJobOperator.custom_job方法, 使用custom_job_id引數代替
連結
移除
DataFusionPipelineLinkHelper, 使用airflow.providers.google.cloud.utils.helpers.resource_path_to_dict代替
Hooks
移除
GoogleAdsHook.search,GoogleAdsHook.search_proto_plus,GoogleAdsHook._search方法的page_size引數移除
CloudBuildHook.create_build方法, 使用CloudBuildHook.create_build_without_waiting_for_result方法移除
DataflowHook.start_java_dataflow方法, 請使用airflow.providers.apache.beam.hooks.beam.start.start_java_pipeline方法啟動管道, 並使用providers.google.cloud.hooks.dataflow.DataflowHook.wait_for_done方法等待所需的管道狀態移除
DataflowHook.start_python_dataflow方法, 請使用airflow.providers.apache.beam.hooks.beam.start.start_python_pipeline方法啟動管道, 並使用providers.google.cloud.hooks.dataflow.DataflowHook.wait_for_done方法等待所需的管道狀態移除
CustomJobHook.cancel_pipeline_job方法, 使用PipelineJobHook.cancel_pipeline_job方法代替移除
CustomJobHook.create_pipeline_job方法, 使用PipelineJobHook.create_pipeline_job方法代替移除
CustomJobHook.get_pipeline_job方法, 使用PipelineJobHook.get_pipeline_job方法代替移除
CustomJobHook.list_pipeline_jobs方法, 使用PipelineJobHook.list_pipeline_jobs方法代替移除
CustomJobHook.delete_pipeline_job方法, 使用PipelineJobHook.delete_pipeline_job方法代替移除
GoogleBaseHook.get_client_info方法, 使用airflow.providers.google.common.consts.CLIENT_INFO代替LifeSciencesHook生命週期延長至 2025 年 7 月 8 日
Utils
移除
create_evaluate_ops方法
移除 provider/google 中 2025 年 2 月和 3 月 的 已棄用項。 #48018
新特性¶
SFTPToGCSOperator: 添加了 選項 來直接將資料流式傳輸到 GCS 而無需儲存到磁碟 (#48107)
Bug 修復¶
修復: 移除 'MetastoreHivePartitionSensor.poke' 方法中 檔案 URI 形成中 多餘的 斜槓字元。 (#48731)不允許 types-protobuf 5.29.1.20250402 用於 google 來修復 mypy (#48666)
其他¶
新增 'ti' 到 RemoteLogIO 的 讀取和上傳 方法 (#48804)重構 structlog 時代的遠端任務日誌處理。 (#48491)將 基類 移動到 'airflow.sdk.bases' (#48487)將 'BaseSensorOperator' 移動到 TaskSDK 定義 (#48244)
14.1.0¶
功能特性¶
為 GKE Hooks 和 Operators 新增 DNS 終端節點支援 (#48075)特性：允許為 'DataprocCreateBatchOperator' 設定任務/DAG 標籤 (#46781)建立用於處理 GCP Apache Kafka 的 Consumer Groups 的 operators (#47056)
Bug 修復¶
修復：BigQuery 可追溯性標籤在 TaskGroup 中缺失 (#47583)
其他¶
Vendor-in json-merge-patch 併為直接 uv 工具安裝新增 '--no-dev' (#48210)序列化複合傳輸中包含的 http 傳輸 (#47444)AIP-72：處理 Task SDK 上的自定義 XCom 後端 (#47339)其他：更新 Google ADS 的 API 版本 (#47772)引入操作輔助類並重構 (#45354)從核心 Airflow 中刪除身份驗證後端 (#47399)將 Google Oauth2 後端標記為僅 Airflow 2 (#47622)新增 Dataflow Apache Beam Java 流系統測試 (#47209)將舊版名稱空間包新增到 airflow.providers (#47064)
14.0.0¶
注意
此版本沒有程式碼更改。 由於之前版本因打包問題而被撤回而釋出。
13.0.0¶
重大變更¶
警告
已從 Google provider 包中刪除已棄用的類、引數和特性。引入了以下重大變更：
運算子
刪除
AutoMLBatchPredictOperator。 請改用來自airflow.providers.google.cloud.operators.vertex_ai.batch_prediction_job的 operators刪除
DataflowStartSqlJobOperator。 請使用DataflowStartYamlJobOperator代替刪除
PromptLanguageModelOperator。 請使用TextGenerationModelPredictOperator代替刪除
GenerateTextEmbeddingsOperator。 請使用TextEmbeddingModelGetEmbeddingsOperator代替刪除
PromptMultimodalModelOperator。 請使用GenerativeModelGenerateContentOperator代替刪除
PromptMultimodalModelWithMediaOperator。 請使用GenerativeModelGenerateContentOperator代替
Hooks
刪除
GenerativeModelHook.prompt_multimodal_model_with_media()。 請使用GenerativeModelHook.generative_model_generate_content()代替刪除
GenerativeModelHook.prompt_multimodal_model()。 請使用GenerativeModelHook.generative_model_generate_content()代替刪除
GenerativeModelHook.get_generative_model_part()。 請使用GenerativeModelHook.generative_model_generate_content()代替刪除
GenerativeModelHook.prompt_language_model()。 請使用GenerativeModelHook.text_generation_model_predict()代替刪除
GenerativeModelHook.generate_text_embeddings()。 請使用GenerativeModelHook.text_generation_model_predict()代替
從 Google provider 中刪除已棄用的功能 (#46235)
功能特性¶
建立用於處理 GCP Apache Kafka 的 Clusters 的 operators (#45795)棄用舊的 bigquery operators 並引入 CreateTableOperator (#46673)為 Entry 資源新增 operators (#46647)將可延遲模式新增到 PubSubPullOperator (#45835)將可延遲模式新增到 google cloud storage 傳輸感測器和 operators (#45754)為 AspectType 資源新增 operators (#46240)特性：為 BigQueryDataTransferServiceStartTransferRunsOperator 新增 OpenLineage 支援 (#45801)特性：為 CloudSQLExecuteQueryOperator 新增 OpenLineage 支援 (#45182)為 Entry Type 新增新 operators (#45799)新增 Dataplex Catalog Entry Group operators (#45751)特性：為 BigQueryHook 新增 Hook Level Lineage 支援 (#45706)特性：為 MsSqlHook 和 MSSQLToGCSOperator 新增 OpenLineage 支援 (#45637)將 holiday_region 引數新增到 AutoMl hook 中的 create_auto_ml_forecasting_training_job 中 (#45465)特性：自動將 OL 傳輸資訊注入到 spark 作業中 (#45326)特性：為 GCS 和 SFTP 之間的傳輸 operators 新增 OpenLineage 支援 (#45485)實現 AlloyDB 建立/更新/刪除使用者和備份 operators (#45378)特性：為一些 SQL 到 GCS operators 新增 OpenLineage 支援 (#45242)特性：為一些 BQ operators 新增 OpenLineage 支援 (#45422)特性：為 BigQueryInsertJobOperator 中的非查詢作業新增 OpenLineage 支援 (#44996)特性：自動將 OL 資訊注入到 DataprocInstantiateInlineWorkflowTemplateOperator 中的 spark 作業中 (#44697)特性：在 BigQueryInsertJobOperator 中將 CLL 新增到 OpenLineage (#44872)特性：自動將 OL 資訊注入到 DataprocCreateBatchOperator 中的 spark 作業中 (#44612)實現 AlloyDB 建立/更新/刪除例項 operators (#45241)新增 BigQuery 作業連結 (#45020) (#45222)引入 gcp translation(V3) 詞彙表 providers (#45085)將 dependencies 部分新增到 gcp cloud build 例項響應中 (#46947)建立 用於 處理 GCP Apache Kafka 主題 的 運算子 (#46865)
Bug 修復¶
修復 在 BigQueryInsertJobOperator 中，當 async 在 deffed 之前 完成時，返回 job_id (#46753)修復： 如果沒有 OpenLineage，Dataproc 運算子 匯入失敗 (#46561)為 CloudComposerDAGRunSensor 新增 舊 Airflow 版本的 向後相容性 (#46011)改進 google 憑據 錯誤訊息 (#45553)在 CloudSqlProxyRunner 中新增 aarch64 環境的 case (#45488)修復 GCSToGCSOperator 在 replace 為 False 時，複製 單個 物件 的 bug (#45181)
其他¶
重構 TriggererJobRunner 以在沒有 DB 訪問的程序中執行 triggers (#46677)AIP-72: 改進 運算子 連結 介面 以防止 使用者程式碼 在 Webserver 中執行 (#46613)移除 Google Provider 中的 Airflow 3 棄用警告，移動到 Private Warning (#46599)將 evaluation extra 新增到 google-cloud-aiplatform (#46270)限制 'google-cloud-aiplatform' 以修復 CI 中的問題 (#46242)改進 cloud_composer.rst 中的 語法 (#45708)AIP-72: 支援 SDK 中 Context dict 更好的型別提示 (#45583)棄用 Google Ads API v17 及更高版本的 page_size 引數 (#45239)刪除 pre-python 3.9 的過時 pandas 規範 (#45399)apache-airflow-providers-google 包的 棄用策略 (#44985)新增 alloydb 的下限 (#45180)棄用 gcp AutoML 模組 (#44875)重構 BeamRunPythonPipelineOperator 和 BeamRunJavaPipelineOperator 的可延遲模式 (#46678)將 cloud build 提升到 3.31.0 (#46953)
12.0.0¶
注意
如Apache Airflow providers support policy中所述，此 provider 版本僅適用於 Airflow 2.9+。
不相容變更¶
警告
已從 Google provider 包中刪除已棄用的類、引數和特性。引入了以下重大變更：
運算子
已移除
CreateDataPipelineOperator。請改用DataflowCreatePipelineOperator。已移除
RunDataPipelineOperator。請改用DataflowRunPipelineOperator。已移除
CreateDataPipelineOperator。請改用DataflowCreatePipelineOperator。已移除
RunDataPipelineOperator。請改用DataflowRunPipelineOperator。
Hooks
已移除
DataPipelineHook。請改用DataflowHook。已移除
DataPipelineHook。請改用 DataflowHook。
Google provider 刪除 已棄用 到達移除日期 （2024年12月） (#45084)
特性¶
新增 Google Vertex AI Feature Store - Feature View 同步 運算子，感測器 (#44891)引入 gcp translation(V3)，翻譯 文件 providers (#44971)引入 translation API v3 （高階）模型 運算子。 (#44627)支援 Dataproc SQL 作業中的 多個 SQL 查詢 (#44890)feat: 為 BigQuery 建立表 運算子新增 OpenLineage 支援 (#44783)feat: 為 S3ToGCSOperator 新增 OpenLineage 支援 (#44426)feat: 在 DataprocSubmitJobOperator 中自動將 OL 資訊注入到 spark 作業中 (#44477)實現 AlloyDB 運算子：建立/更新/刪除 叢集 (#45027)
Bug 修復¶
修復 由於重複的別名而導致的 MetastoreHivePartitionSensor 失敗 (#45001)修復 InsertBigQueryOperator 的 OpenLineage 發射失敗 (#44650)BigQueryInsertJobOperator: 記錄瞬態錯誤，並在將任務標記為成功之前檢查作業狀態 (#44279)使 'CloudBatchSubmitJobOperator' 在作業失敗時失敗 (#44425)
其他¶
刪除對 AIRFLOW_V_2_9_PLUS 的引用 (#44987)在 providers 中一致地檢查 Airflow 版本 (#44686)修復 yoda-conditions (#44466)feat: 為 gcs 和 local 之間的 傳輸 運算子新增 OpenLineage 支援 (#44417)將 providers 中的最小 Airflow 版本提升到 Airflow 2.9.0 (#44956)chore: 從 OpenLineage utils 中刪除已棄用的 bigquery facets (#44838)實現 KubernetesInstallKueueOperator (#44568)修復 dataform 運算子的 文件 (#44729)棄用 VertexAI PaLM 文字生成模型 (#44719)在文件中顯示關於棄用的醒目警告 (#44479)chore: 統一處理 gcs 路徑 (#44410)
11.0.0¶
不相容變更¶
警告
已從 Google provider 包中刪除已棄用的類、引數和特性。引入了以下重大變更：
運算子
已移除
CreateAutoMLTextTrainingJobOperator。請改用SupervisedFineTuningTrainOperator。已移除
BigQueryExecuteQueryOperator。請改用BigQueryInsertJobOperator。已移除
BigQueryPatchDatasetOperator。請改用BigQueryUpdateDatasetOperator。已移除
DataflowCreateJavaJobOperator。請改用BeamRunJavaPipelineOperator。移除了
DataflowCreatePythonJobOperator。請使用BeamRunPythonPipelineOperator代替。移除了
DataprocSubmitPigJobOperator。請使用DataprocSubmitJobOperator代替。移除了
DataprocSubmitHiveJobOperator。請使用DataprocSubmitJobOperator代替。移除了
DataprocSubmitSparkSqlJobOperator。請使用DataprocSubmitJobOperator代替。移除了
DataprocSubmitSparkJobOperator。請使用DataprocSubmitJobOperator代替。移除了
DataprocSubmitHadoopJobOperator。請使用DataprocSubmitJobOperator代替。移除了
DataprocSubmitPySparkJobOperator。請使用DataprocSubmitJobOperator代替。移除了
GoogleAnalyticsListAccountsOperator。請使用GoogleAnalyticsAdminListAccountsOperator代替。移除了
GoogleAnalyticsGetAdsLinkOperator。請使用GoogleAnalyticsAdminGetGoogleAdsLinkOperator代替。移除了
GoogleAnalyticsRetrieveAdsLinksListOperator。請使用GoogleAnalyticsAdminListGoogleAdsLinksOperator代替。移除了
GoogleAnalyticsDataImportUploadOperator。請使用GoogleAnalyticsAdminCreateDataStreamOperator代替。移除了
GoogleAnalyticsDeletePreviousDataUploadsOperator。請使用GoogleAnalyticsAdminDeleteDataStreamOperator代替。移除了
GoogleAnalyticsModifyFileHeadersDataImportOperator。由於 Google Analytics API v3 已停止服務，該類已不再實際使用，因此所涵蓋的用例不再相關。移除了
GoogleCampaignManagerDeleteReportOperator.delegate_to。請使用GoogleCampaignManagerDeleteReportOperator.impersonation_chain代替。移除了
GoogleCampaignManagerDownloadReportOperator.delegate_to。請使用GoogleCampaignManagerDownloadReportOperator.impersonation_chain代替。移除了
GoogleCampaignManagerInsertReportOperator.delegate_to。請使用GoogleCampaignManagerInsertReportOperator.impersonation_chain代替。移除了
GoogleCampaignManagerRunReportOperator.delegate_to。請使用GoogleCampaignManagerRunReportOperator.impersonation_chain代替。移除了
GoogleCampaignManagerBatchInsertConversionsOperator.delegate_to。請使用GoogleCampaignManagerBatchInsertConversionsOperator.impersonation_chain代替。移除了
GoogleCampaignManagerBatchUpdateConversionsOperator.delegate_to。請使用GoogleCampaignManagerBatchUpdateConversionsOperator.impersonation_chain代替。移除了
GoogleDisplayVideo360CreateQueryOperator.delegate_to。請使用GoogleDisplayVideo360CreateQueryOperator.impersonation_chain代替。移除了
GoogleDisplayVideo360DeleteReportOperator.delegate_to。請使用GoogleDisplayVideo360DeleteReportOperator.impersonation_chain代替。移除了
GoogleDisplayVideo360DownloadReportV2Operator.delegate_to。請使用GoogleDisplayVideo360DownloadReportV2Operator.impersonation_chain代替。移除了
GoogleDisplayVideo360RunQueryOperator.delegate_to。請使用GoogleDisplayVideo360RunQueryOperator.impersonation_chain代替。移除了
GoogleDisplayVideo360DownloadLineItemsOperator.delegate_to。請使用GoogleDisplayVideo360DownloadLineItemsOperator.impersonation_chain代替。移除了
GoogleDisplayVideo360UploadLineItemsOperator.delegate_to。請使用GoogleDisplayVideo360UploadLineItemsOperator.impersonation_chain代替。移除了
GoogleDisplayVideo360CreateSDFDownloadTaskOperator.delegate_to。請使用GoogleDisplayVideo360CreateSDFDownloadTaskOperator.impersonation_chain代替。移除了
GoogleDisplayVideo360SDFtoGCSOperator.delegate_to。請使用GoogleDisplayVideo360SDFtoGCSOperator.impersonation_chain代替。移除了
GoogleSheetsCreateSpreadsheetOperator.delegate_to。請使用GoogleSheetsCreateSpreadsheetOperator.impersonation_chain代替。移除了
GCSToGoogleDriveOperator.delegate_to。請使用GCSToGoogleDriveOperator.impersonation_chain代替。移除了
GCSToGoogleSheetsOperator.delegate_to。請使用GCSToGoogleSheetsOperator.impersonation_chain代替。移除了
LocalFilesystemToGoogleDriveOperator.delegate_to。請使用LocalFilesystemToGoogleDriveOperator.impersonation_chain代替。移除了
SQLToGoogleSheetsOperator.delegate_to。請使用SQLToGoogleSheetsOperator.impersonation_chain代替。移除了
CreateBatchPredictionJobOperator.sync。此引數不再實際使用。移除了
CreateHyperparameterTuningJobOperator.sync。此引數不再實際使用。移除了
CustomTrainingJobBaseOperator.sync。此引數不再實際使用。移除了
GKEStartPodOperator.get_gke_config_file()。請使用GKEStartPodOperator.fetch_cluster_info()代替。
觸發器
移除了
GCSCheckBlobUpdateTimeTrigger.hook_params引數中對delegate_to欄位的支援。
感測器
移除了
BigQueryTableExistenceAsyncSensor。請使用BigQueryTableExistenceSensor並將 deferrable 屬性設定為 True 代替。移除了
BigQueryTableExistencePartitionAsyncSensor。請使用BigQueryTablePartitionExistenceSensor並將 deferrable 屬性設定為 True 代替。移除了
CloudComposerEnvironmentSensor。請使用CloudComposerCreateEnvironmentOperator、CloudComposerUpdateEnvironmentOperator或CloudComposerDeleteEnvironmentOperator代替。移除了
GCSObjectExistenceAsyncSensor。請使用GCSObjectExistenceSensor並將 deferrable 屬性設定為 True 代替。移除了
GoogleCampaignManagerReportSensor.delegate_to。請使用GoogleCampaignManagerReportSensor.impersonation_chain代替。移除了
GoogleDisplayVideo360GetSDFDownloadOperationSensor.delegate_to。請使用GoogleDisplayVideo360GetSDFDownloadOperationSensor.impersonation_chain代替。移除了
GoogleDisplayVideo360RunQuerySensor.delegate_to。請使用GoogleDisplayVideo360RunQuerySensor.impersonation_chain代替。移除了
GoogleDriveFileExistenceSensor.delegate_to。請使用GoogleDriveFileExistenceSensor.impersonation_chain代替。
連結
移除了
BigQueryConsoleIndexableLink。此屬性不再實際使用。移除了
BigQueryConsoleLink。此屬性不再實際使用。
Hooks
移除了
GKEDeploymentHook。請使用GKEKubernetesHook代替。移除了
GKECustomResourceHook。請使用GKEKubernetesHook代替。移除了
GKEPodHook。請使用GKEKubernetesHook代替。移除了
GKEJobHook。請使用GKEKubernetesHook代替。移除了
GKEPodAsyncHook。請使用GKEKubernetesAsyncHook代替。移除了
SecretsManagerHook。請使用GoogleCloudSecretManagerHook代替。移除了
GoogleAnalyticsHook。由於 Google Analytics API v3 已停止服務，該類已不再實際使用。移除了
GoogleBaseHook.delegate_to。請使用GoogleBaseHook.impersonation_chain。請注意，delegate_to引數過去在所有 Google hooks 中都繼承，並且從現在起，它在 Google provider 中的所有位置都已被刪除。移除了
GoogleDiscoveryApiHook.delegate_to。請使用GoogleDiscoveryApiHook.impersonation_chain代替。移除了
GoogleCampaignManagerHook.delegate_to。請使用GoogleCampaignManagerHook.impersonation_chain代替。移除了
GoogleDisplayVideo360Hook.delegate_to。請使用GoogleDisplayVideo360Hook.impersonation_chain代替。移除了
GoogleSearchAdsHook.delegate_to。請使用GoogleSearchAdsHook.impersonation_chain代替。移除了
GoogleCalendarHook.delegate_to。請使用GoogleCalendarHook.impersonation_chain代替。移除了
GoogleDriveHook.delegate_to。請使用GoogleDriveHook.impersonation_chain代替。移除了
GSheetsHook.delegate_to。請使用GSheetsHook.impersonation_chain代替。移除了
BigQueryHook.credentials_path。此屬性不再實際使用。已移除
GKEHook.get_conn()。請改用GKEHook.get_cluster_manager_client()已移除
GKEHook.get_client()。請改用GKEHook.get_cluster_manager_client()已移除
BigQueryHook.patch_table()。請改用BigQueryHook.update_table()已移除
BigQueryHook.patch_dataset()。請改用BigQueryHook.update_dataset()已移除
BigQueryHook.get_dataset_tables_list()。請改用BigQueryHook.get_dataset_tables()已移除
BigQueryHook.run_table_delete()。請改用BigQueryHook.delete_table()已移除
BigQueryHook.get_tabledata()。請改用BigQueryHook.list_rows()已移除
BigQueryHook.cancel_query()。請改用BigQueryHook.cancel_job()已移除
BigQueryHook.run_with_configuration()。請改用BigQueryHook.insert_job()已移除
BigQueryHook.run_load()。請改用BigQueryHook.insert_job()已移除
BigQueryHook.run_copy()。請改用BigQueryHook.insert_job()已移除
BigQueryHook.run_extract()。請改用BigQueryHook.insert_job()已移除
BigQueryHook.run_query()。請改用BigQueryHook.insert_job()已移除
BigQueryHook.create_external_table()。請改用BigQueryHook.create_empty_table()已移除
BigQueryHook.get_service()。請改用BigQueryHook.get_client()
後端
已移除
CloudSecretManagerBackend.get_conn_uri()。請改用CloudSecretManagerBackend.get_conn_value()
其他棄用
已移除
BigQueryBaseCursor.create_empty_table()。請改用BigQueryHook.create_empty_table()已移除
BigQueryBaseCursor.create_empty_dataset()。請改用BigQueryHook.create_empty_dataset()已移除
BigQueryBaseCursor.get_dataset_tables()。請改用BigQueryHook.get_dataset_tables()已移除
BigQueryBaseCursor.delete_dataset()。請改用BigQueryHook.delete_dataset()已移除
BigQueryBaseCursor.create_external_table()。請改用BigQueryHook.create_empty_table()已移除
BigQueryBaseCursor.patch_table()。請改用BigQueryHook.update_table()已移除
BigQueryBaseCursor.insert_all()。請改用BigQueryHook.insert_all()已移除
BigQueryBaseCursor.update_dataset()。請改用BigQueryHook.update_dataset()已移除
BigQueryBaseCursor.patch_dataset()。請改用BigQueryHook.update_dataset()已移除
BigQueryBaseCursor.get_dataset_tables_list()。請改用BigQueryHook.get_dataset_tables()已移除
BigQueryBaseCursor.get_datasets_list()。請改用BigQueryHook.get_datasets_list()已移除
BigQueryBaseCursor.get_dataset()。請改用BigQueryHook.get_dataset()已移除
BigQueryBaseCursor.run_grant_dataset_view_access()。請改用BigQueryHook.run_grant_dataset_view_access()已移除
BigQueryBaseCursor.run_table_upsert()。請改用BigQueryHook.run_table_upsert()已移除
BigQueryBaseCursor.run_table_delete()。請改用BigQueryHook.delete_table()已移除
BigQueryBaseCursor.get_tabledata()。請改用BigQueryHook.list_rows()已移除
BigQueryBaseCursor.get_schema()。請改用BigQueryHook.get_schema()已移除
BigQueryBaseCursor.poll_job_complete()。請改用BigQueryHook.poll_job_complete()已移除
BigQueryBaseCursor.cancel_query()。請改用BigQueryHook.cancel_job()已移除
BigQueryBaseCursor.run_with_configuration()。請改用BigQueryHook.insert_job()已移除
BigQueryBaseCursor.run_load()。請改用BigQueryHook.insert_job()已移除
BigQueryBaseCursor.run_copy()。請改用BigQueryHook.insert_job()已移除
BigQueryBaseCursor.run_extract()。請改用BigQueryHook.insert_job()已移除
BigQueryBaseCursor.run_query()。請改用BigQueryHook.insert_job()
從 Google 提供程式中刪除已棄用的功能 (#43953)
功能¶
feat: 為 BigQueryToBigQueryOperator 新增 OpenLineage 支援 (#44214)引入 gcp 高階 API (V3) 轉換本機資料集運算子 (#44271)引入新的 gcp TranslateText 和 TranslateTextBatch 運算子 (#43860)將 gcloud 命令新增到 DataprocCreateClusterOperator，以便能夠在 GKE 叢集上建立 dataproc (#44185)
錯誤修復¶
修復 'BigQueryAsyncHook.create_job_for_partition_get' 中的不正確查詢。(#44225)修復 Dataplex 資料質量的部分更新 (#44262)
其他¶
將 'google-cloud-translate' 升級到 '3.16' (#44297)將 'google-cloud-datacatalog' 升級到 '3.23' (#44281)在整個程式碼庫中將 execution_date 重新命名為 logical_date (#43902)
10.26.0¶
功能¶
為 CloudSQL 連線新增對 IAM 資料庫身份驗證的支援 (#43631)為 'GCSToBigQueryOperator' 提供 'force_delete' 選項 (#43785)統一 BigQuery 運算子中的 reattach_states 引數邏輯 (#43259)
錯誤修復¶
從 ListCustomTrainingJobOperator 的 template_fields 中刪除不存在的欄位 (#43924)修復 'UploadModelOperator' 中驗證 'parent_model' 引數的問題 (#43473)
其他¶
新增對 DbApiHook、PrestoHook 和 TrinoHook 的分號剝離支援 (#41916)刪除 Google 提供程式中 Airflow 2.1 相容程式碼 (#43952)解釋如何將 uv 與 airflow virtualenv 一起使用並使其工作 (#43604)將 python 運算子移動到 Standard 提供程式 (#42081)更新 Google ADS 的版本 (#43474)
10.25.0¶
功能¶
feat: 為 GCSHook 新增 Hook Level Lineage 支援 (#42507)feat: 用於檢查 Dataform 操作狀態的感測器 (#43055)為 Google Cloud Vertex AI 上下文快取建立運算子 (#43008)
錯誤修復¶
修復過時的 CloudRunExecuteJobOperator 文件 (#43195)修復 TestTranslationLegacyModelPredictLink dataset_id 錯誤 (#42463)
其他¶
為 在 dataproc 中 建立 批次 工作負載 新增 除錯 日誌 (#43265)為 plyvel 新增 最小 版本 (#43129)Vertex AI 訓練 operators: 向 渲染的 欄位 新增 display_name (#43028)使 google provider pyarrow 依賴 顯式化 (#42996)限制 looker-sdk 版本 24.18.0 和 microsoft-kiota-http 1.3.4 (#42954)
10.24.0¶
功能¶
為 DataprocCreateClusterOperator 和 DataprocCreateBatchOperator 新增 'retry_if_resource_not_ready' 邏輯 (#42703)
Bug修復¶
如果 提供了 batch_id，則在 Dataproc Serverless Batch 連結 啟動後 釋出 (#41153)修復 PubsubPullTrigger 中的 PubSubAsyncHook 以 使用 gcp_conn_id (#42671)修復 PubSubPullSensor 返回 一致的 響應 (#42080)當 拆分 完整的 BigQuery 表 名時，撤消 從 表 名中 排除 分割槽 (#42541)修復 gcp 文字轉語音 uri 獲取 (#42309)重構 ''GCSHook'' 中的 ''bucket.get_blob'' 呼叫 以 處理 對 不存在的 物件的驗證。 (#42474)Bugfix/dataflow job location 傳遞 (#41887)
其他¶
刪除 了 airflow 版本 2.8.0 及 以上版本中 對 任務 上下文 日誌記錄的 條件 檢查 (#42764)將 資料集 相關的 python 變數 名稱 重新命名 為 asset (#41348)棄用 AutoMLBatchPredictOperator 並 重構 AutoMl 系統 測試 (#42260)
10.23.0¶
功能¶
新增 在 dataproc 叢集中 建立 Flink 作業的 能力 (#42342)新增 新的 Google Search 360 Reporting Operators (#42255)將 return_immediately 作為 引數 新增到 PubSubPullSensor 類 (#41842)在 'UploadModelOperator' 中 新增 parent_model 引數 (#42091)新增 DataflowStartYamlJobOperator (#41576)為 Google Vertex AI Rapid Evaluation API 新增 RunEvaluationOperator (#41940)為 Google Generative AI CountTokensAPI 新增 CountTokensOperator (#41908)新增 Supervised Fine Tuning Train Operator，Hook，Tests，Docs (#41807)
Bug修復¶
進行小的修復 以 確保 成功的 Vertex AI LLMops pipeline (#41997)從 BigQuery 表 名中 排除 分割槽 (#42130)[修復 #41763]: 當 未指定 或 具有 預設值時，SFTPToGCSOperator 中的 冗餘 正斜槓 destination_path (#41928)修復 GKEJobTrigger 中的 poll_interval (#41712)更新 dataflow job id 提取的 模式 (#41794)強制執行 google provider 包的 EOL 棄用 訊息 格式 (#41637)修復 KubernetesJobOperator 的 'do_xcom_push' 和 'get_logs' 功能 (#40814)
其他¶
標記 VertexAI AutoMLText 棄用 (#42251)排除 google-cloud-spanner 3.49.0 (#42011)刪除 已棄用的 Google analytics operators 的 系統 測試 (#41946)更新 google-cloud-bigquery 包的 最小 版本 (#41882)取消固定 Google provider 的 google-cloud-bigquery 包 版本 (#41839)從 已棄用的 DAG.following_schedule() 方法 遷移 (#41773)從 providers 中 刪除 已棄用的 soft_fail (#41710)更新 google-ads 的版本 (#41638)刪除 已棄用的 日誌 處理程式 引數 filename_template (#41552)
主要¶
警告
之前的 Search Ads 360 Reporting API <https://developers.google.com/search-ads/v2/how-tos/reporting> （當前在 google-provider 中使用）已於 2024 年 6 月 30 日停用（請參閱詳細資訊 <https://developers.google.com/search-ads/v2/migration>）。所有新的報告開發都應使用新的 Search Ads 360 Reporting API。目前，由於停用，報告 operators、感測器和 hooks 失敗。新的 API 不是舊 API 的替代品，它具有不同的方法和端點。因此，為新的 API 實現了新的 operators。
10.22.0¶
注意
如 Apache Airflow providers support policy 中所述，此 provider 版本僅適用於 Airflow 2.8+。
功能¶
新增 'CloudRunServiceHook' 和 'CloudRunCreateServiceOperator' (#40008)
Bug修復¶
fix(providers/google): 向 CloudDataTransferServiceAsyncHook 新增 缺失的 sync_hook_class (#41417)
其他¶
將 providers 中的 最小 Airflow 版本 提升 到 Airflow 2.8.0 (#41396)重構 'DataprocCreateBatchOperator' (#41527)升級 包 gcloud-aio-auth>=5.2.0 (#41262)
10.21.1¶
Bug修復¶
修復 CloudSQL hook 的不必要的 匯入 (#41009)將 敏感資訊 移動到 系統 測試 google_analytics_admin 的 金鑰 管理器 (#40951)修復 自定義 訓練 作業 operators 以 接受 沒有 託管 模型 的結果 (#40685)修復 BigQueryInsertJobOperator 中 reattach_state 引數的 行為 (#40664)修復 CloudSQLDatabaseHook 臨時 檔案 處理 (#41092)
其他¶
重構 dataproc 系統 測試 (#40720)openlineage: 將 OpenLineage 提供程式 遷移到 V2 facet。 (#39530)解決 CloudSQLDatabaseHook 棄用 警告 (#40834)修復 BeamRunJavaPipelineOperator 在未設定 job_name 的情況下失敗 (#40645)
10.21.0¶
注意
修改 修復 'GCSToGCSOperator' 移動 單個 物件的行為差異 (#40162) 已被撤銷，因為它破壞了太多的現有工作流程。 GCSToGCSOperator 的行為已恢復到之前的行為。
功能¶
更新 Google Cloud 生成式 模型 Hooks/Operators 以與 Vertex AI API 保持一致 (#40484)DataflowStartFlexTemplateOperator。 每次檢查週期檢查 Dataflow 作業型別。 (#40584)向 LocalFilesystemToGCSOperator 新增 chunk_size 引數 (#40379)向 BigQueryCheckOperator 新增 對 查詢 引數的支援 (#40558)在 DataprocCreateBatchOperator 中新增指向 dataproc 作業的連結按鈕 (#40643)
Bug 修復¶
還原 "修復 'GCSToGCSOperator' 移動 單個 物件的行為差異 (#40162)" (#40577)修復 BigQueryInsertJobOperator 的返回值以及可延遲模式下的 openlineage 提取 (#40457)修復 GCP 可延遲運算子的 OpenLineage 提取 (#40521)修復 CloudBatchSubmitJobOperator 中對 project_id 的尊重 (#40560)
10.20.0¶
注意
現在，GCSToGCSOperator 在移動或複製單個物件時會保留巢狀的資料夾結構，使其行為與多個物件的行為保持一致。如果此更改影響您的工作流程，您可能需要調整您的 source_object 引數，以包括直到包含您的單個檔案的資料夾的完整路徑，並明確指定 destination_object 以忽略巢狀的資料夾。例如，如果您之前使用 source_object='folder/nested_folder/'，要移動檔案 'folder/nested_folder/second_nested_folder/file'，您現在應該使用 source_object='folder/nested_folder/second_nested_folder/' 並指定 destination_object='folder/nested_folder/'。這將把檔案移動到 'folder/nested_folder/file'，而不是將其移動到 'folder/nested_folder/second_nested_folder/file' 的固定行為。
警告
上面的更改已在 10.21.0 版本中撤銷。 GCSToGCSOperator 的行為已恢復到之前的行為。
功能¶
向 google cloud multimodal model operators 新增 generation_config 和 safety_settings (#40126)向 'BigQueryUpdateTableSchemaOperator' 新增缺少的 location 引數 (#40237)為 Google Cloud Operators 新增對外部 IdP OIDC 令牌檢索的支援。 (#39873)向 BigQuery operators 新增 encryption_configuration 引數 (#40063)向 GoogleBaseAsyncHook 新增預設的 gcp_conn_id (#40080)為 PubSubPublishMessageOperator GCP Operator 新增 排序 鍵 選項 (#39955)在 GCSHook 中新增從 GCS blob 獲取元資料的方法 (#38398)在 AutoMLHook 中的 create_auto_ml_forecasting_training_job 中新增 window 引數 (#39767)實現 CloudComposerDAGRunSensor (#40088)實現 'CloudDataTransferServiceRunJobOperator' (#39154)非同步獲取 GKEStartPod 的中間日誌 (#39348)在 google provider 包中為 AzureBlobStorageToGCSOperator 新增 OpenLineage 支援 (#40290)
Bug 修復¶
修復 hive_partition_sensor 系統 測試 (#40023)修復 openai 1.32 破壞 openai 測試 (#40110)修復 google auth 的 mypy 版本顯示憑據初始化 (#40108)修復 DataflowHook 中排除雙引號和換行符的正則表示式 (#39991)修復 BigQueryToPostgresOperator 的替換引數 (#40278)修復 'GCSToGCSOperator' 移動 單個 物件的行為差異 (#40162)
其他¶
重構 datapipeline operators (#39716)更新 Python 3.12 的 pandas 最低要求 (#40272)使用最低直接依賴關係解析實現每個提供程式的測試 (#39946)openlineage: 在單獨的程序中執行提取和訊息傳送 (#40078)將 google-auth 的最低版本提升到 2.29.0 (#40190)提升 google-ads 版本以預設使用 v17 (#40158)google: 將 openlineage 匯入移動到方法內部 (#40062)在 DataplexGetDataQualityScanResultOperator 中新增 job_id 作為 template_field (#40041)向 httpx >= 0.25.0 新增依賴項 (#40256)
10.19.0¶
注意
在 AutoML Natural Language、Tables、Vision 和 Video Intelligence 服務的舊版本關閉後，幾個 AutoML 運算子已停止支援。這包括 AutoMLDeployModelOperator、AutoMLTablesUpdateDatasetOperator、AutoMLTablesListTableSpecsOperator 和 AutoMLTablesListColumnSpecsOperator。請參閱運算子文件以瞭解可用的替代方案（如果有）。有關 AutoML 關閉的更多資訊，請參見
功能¶
在 GCP base hook 中引入匿名憑據 (#39695)
Bug 修復¶
如果 parent_model 版本字尾傳遞給 Vertex AI operators，則刪除它 (#39640)如果缺少 location，則修復 BigQueryCursor execute 方法 (#39659)修復 PubSubPullSensor 在 可延遲模式 下的 已確認功能 (#39711)將 AutoML Operator 連結 重定向 到 Google 翻譯 連結 (#39668)將 google-cloud-bigquery 鎖定 到 < 3.21.0 (#39583)
其他¶
移除 Google 和 Snowflake Provider 中的 'openlineage.common' 依賴項 (#39614)棄用 AutoML Tables Operator (#39752)解決 Azure FileShare-to-GCS 測試 中的 棄用警告 (#39599)拼寫錯誤: spec 中錯誤的 OpenLineage facet key (#39782)從 StackdriverTaskHandler 中 移除 陳舊程式碼 (#39744)
10.18.0¶
注意
如Apache Airflow Provider支援策略中所述，此 Provider 版本僅適用於 Airflow 2.7+。
功能¶
為 Google LLM Operator 新增 模板化 欄位 (#39174)新增 邏輯 以處理 當 deferrable=True 時 BigQueryInsertJobOperator 的 on_kill (#38912)建立 'CloudComposerRunAirflowCLICommandOperator' Operator (#38965)Dataflow Sensor 的 可延遲 模式 (#37693)自定義 訓練 Job Operator 的 可延遲 模式 (#38584)CloudSQLExecuteQueryOperator 中對 SSL 支援的 增強 (#38894)建立 GKESuspendJobOperator 和 GKEResumeJobOperator Operator (#38677)為 Google Transfer Service Operator 中的 AWS 憑據 新增 對 role arn 的支援 (#38911)將 encryption_configuration 引數 新增到 BigQueryCheckOperator 和 BigQueryTableCheckOperator (#39432)將 'job_id' 引數 新增到 'BigQueryGetDataOperator' (#39315)
Bug修復¶
修復 DataflowTemplatedJobStartOperator 和 DataflowStartFlexTemplateOperator 的 可延遲模式 (#39018)修復 BigQueryToPostgresOperator 的 批次處理 (#39233)修復 當 任務 被標記為 失敗時 deferrable mode=True 下的 DataprocSubmitJobOperator (#39230)修復 GCSObjectExistenceSensor Operator 以在 可延遲 和 非可延遲 模式下返回相同的 XCOM 值 (#39206)修復 conn_id BigQueryToMsSqlOperator (#39171)修復 在 Google 身份驗證 重新整理憑據 錯誤的情況下新增重試邏輯 (#38961)修復 可延遲模式下 BigQueryCheckOperator 跳過的 值 和 錯誤檢查 (#38408)修復 在 GCSDeleteObjectsOperator 中使用 字首 而不是所有檔案路徑來表示 OpenLineage 資料集 (#39059)修復 在 GCSToGCSOperator 中使用 字首 而不是完整檔案路徑來表示 OpenLineage 資料集 (#39058)修復 GCSTimeSpanFileTransformOperator 中的 OpenLineage 資料集 (#39064)修復 'DataprocSubmitPySparkJobOperator' 中 臨時 檔名生成 (#39498)修復 當 TaskInstance 未處於 running 或 deferred 狀態時 DataprocSubmitJobOperator 取消外部 Job 的邏輯 (#39447)修復 當 TaskInstance 未處於 running 或 deferred 狀態時 BigQueryInsertJobOperator 取消外部 Job 的邏輯 (#39442)修復 當 TaskInstance 未處於 running 或 deferred 狀態時 DataprocCreateClusterOperator 取消外部 Job 的邏輯 (#39446)修復 使用 'result_retry' 時 'DataprocCreateBatchOperator' 引發 'AttributeError' (#39462)修復 GKEStartKueueInsideClusterOperator 的 YAML 解析 (#39234)修復 BigQueryInsertJobOperator 中標籤值的驗證 (#39568)
其他¶
將 Provider 中的 最低 Airflow 版本 提升到 Airflow 2.7.0 (#39240)改進 'DataprocCreateClusterOperator' 的 Trigger，以實現更好的錯誤處理和資源清理 (#39130)在 Microsoft Azure Provider 中新增 MSGraphOperator (#38111)在 Google Provider 中應用 PROVIDE_PROJECT_ID mypy 解決方法 (#39129)處理 KubernetesDeleteJobOperator 匯入 (#39036)移除 Airflow 2.6 向後相容程式碼 (#39558)重新應用 所有 Provider 的模板 (#39554)更快地 匯入 'airflow_version' (#39552)為 已棄用的 新增 棄用警告並引發異常 (#38673)簡化 'airflow_version' 匯入 (#39497)斷開 GKE Operator 與已棄用 Hook 的連線 (#39434)
10.17.0¶
功能¶
將 'impersonation_scopes' 新增到 BigQuery (#38169)將 可延遲模式 新增到 RunPipelineJobOperator (#37969)新增 GKECreateCustomResourceOperator 和 GKEDeleteCustomResourceOperator Operator (#37616)為 Google Cloud Generative AI 使用新增 VertexAI 語言模型和多模態模型運算子 (#37721)新增 GKEListJobsOperator 和 GKEDescribeJobOperator (#37598)建立 GKEStartKueueJobOperator 運算子 (#37477)建立 DeleteKubernetesJobOperator 和 GKEDeleteJobOperator 運算子 (#37793)更新 GCS hook 以獲取 CMEK 保護物件的 crc32c 雜湊 (#38191)為 BigQuery 作業設定作業標籤以進行可追溯性 (#37736)CreateBatchPredictionJobOperator 的可延期模式 (#37818)
Bug 修復¶
修復 BigQuery 連線並新增文件 (#38430)fix(google,log): 避免日誌名稱覆蓋 (#38071)修復 S3ToGCSOperator 觸發器的憑據錯誤 (#37518)修復 GCP Vertex AI AutoML 和自定義作業運算子中的 'parent_model' 引數 (#38417)fix(google): 新增 return 語句以在觸發器中的 while 迴圈內生成 (#38394)修復 'PostgresToGCSOperator' 中游標唯一名稱超出 Postgres 識別符號限制的問題 (#38040)修復 gcs 匿名使用者問題，因為無 token (#38102)修復 BigQueryTablePartitionExistenceTrigger 分割槽查詢 (#37655)
其他¶
新增 google-cloud-bigquery 作為顯式的 google-provider 依賴項 (#38753)避免在 'google' provider 的類方法中使用 'functools.lru_cache' (#38652)重構 GKE hooks (#38404)從 airflow 包中刪除未使用的迴圈變數 (#38308)cloud_storage_transfer_service 的模板化欄位邏輯檢查 (#37519)重新命名 mlengine 運算子的欄位名稱以符合模板化欄位驗證 (#38053)重新命名 Vertex AI AutoML 運算子的欄位名稱以符合模板化欄位驗證 (#38049)重新命名 'DeleteCustomTrainingJobOperator' 的欄位名稱以符合模板化欄位驗證 (#38048)恢復從 Google Cloud 檢索的 Google Transfer 運算子的 delegate_to (#37925)重構 CreateHyperparameterTuningJobOperator (#37938)升級 google-ads 版本 (#37787)
10.16.0¶
特性¶
'CloudRunExecuteJobOperator': 新增 project_id 到 hook.get_job 呼叫 (#37201)新增開發者 token 作為 GoogleAdsHook 的身份驗證方法 (#37417)新增 GKEStartKueueInsideClusterOperator (#37072)為 BigQueryInsertJobTrigger 新增可選的 'location' 引數 (#37282)feat(GKEPodAsyncHook): 使用非同步憑據 token 實現 (#37486)建立 GKEStartJobOperator 和 KubernetesJobOperator (#36847)
Bug 修復¶
修復 'DataFusionPipelineLinkHelper' 的無效棄用 (#37755)修復模板化欄位賦值 'google/cloud/operators/compute.py' (#37659)修復 bq_to_mysql 初始化檢查 (#37653)修復 Async GCSObjectsWithPrefixExistenceSensor xcom push (#37634)修復 GCSSynchronizeBucketsOperator 超時錯誤 (#37237)fix: insert_rows 的簽名與超型別 DbApiHook 不相容 (#37391)在 _CredentialsToken 中使用 offset-naive datetime (#37539)在 DataprocInstantiateInlineWorkflowTemplateOperator 中使用 wait_for_operation (#37145)
其他¶
修復 DataflowStartFlexTemplateOperator 文件中的拼寫錯誤 (#37595)僅在 'DbApiHook.insert_rows' 中將 'executemany' 關鍵字引數設為僅關鍵字引數 (#37840)統一 'aws_conn_id' 型別，始終為 'str | None' (#37768)限制 'pandas' 到 '<2.2' (#37748)移除 Google provider 運算子中損壞的已棄用回退 (#37740)實現 AIP-60 資料集 URI 格式 (#37005)解決 'bigquery' 的模板欄位初始化檢查 (#37586)更新 DataprocCreateBatchOperator 的文件 (#37562)替換 providers 中 'datetime.utcnow' 和 'datetime.utcfromtimestamp' 的用法 (#37138)
10.15.0¶
特性¶
新增 service_file 支援到 GKEPodAsyncHook (#37081)更新 GCP Dataproc ClusterGenerator 以支援 GPU 引數 (#37036)建立 DataprocStartClusterOperator 和 DataprocStopClusterOperator (#36996)為 CreateHyperparameterTuningJobOperator 實現可延期模式 (#36594)為 GKEPodHook 啟用 '_enable_tcp_keepalive' 功能 (#36999)
Bug 修復¶
fix(providers/google): 修復 GKEPodAsyncHook.service_file_as_context 的使用方式 (#37306)修復 ComputeEngineSSHHook 的元資料覆蓋 (#37192)修復 '__init__' 中 'custom_job' 中模板欄位的賦值 (#36789)修復 DataflowTemplatedJobStartOperator 中的 location 要求 (#37069)修復 'CloudDataTransferServiceCreateJobOperator' 中 '__init__' 裡 template 欄位 的 賦值 (#36909)修復了 GCP Data Fusion 連結的 硬編碼 預設 namespace 值。 (#35379)如果在 Dataproc 叢集 配置中 internal_ip_only 設定為 false， 則不要 忽略 它 (#37014)
其他¶
恢復 針對 google-core-api 的 向後相容性 問題的 保護 (#37111)特性: 將所有 類、 函式、 方法 棄用 切換到 裝飾器 (#36876)
10.14.0¶
注意
BaseSQLToGCSOperator 中的 parquet_row_group_size 的預設值已從 1 更改為 100000，以便擁有一個預設值，該預設值提供更好的壓縮效率和讀取輸出 Parquet 檔案的資料的效能。在許多情況下，先前的值 1 導致非常大的檔案、長時間的任務持續時間和記憶體不足的問題。預設值 100000 可能需要更多記憶體來執行運算子，在這種情況下，使用者可以覆蓋運算子中的 parquet_row_group_size 引數。當 export_format 為 parquet 時，所有派生自 BaseSQLToGCSOperator 的運算子都會受到影響：MySQLToGCSOperator、PrestoToGCSOperator、OracleToGCSOperator、TrinoToGCSOperator、MSSQLToGCSOperator 和 PostgresToGCSOperator。鑑於以上情況，我們將此更改視為錯誤修復。
功能¶
將 templated 欄位 新增到 來自 'BigQueryToPostgresOperator' 的 'BigQueryToSqlBaseOperator' (#36663)添加了 檢查 取消 工作流 呼叫 並添加了 新的 查詢 工作流 呼叫 運算子 (#36351)實現 Google Analytics Admin (GA4) 運算子 (#36276)新增 運算子 來 診斷 叢集 (#36899)將 scopes 新增到 GCP token 中 (#36974)特性: 在 gcloud-aio 客戶端中 完全 支援 google 憑據 (#36849)
錯誤修復¶
修復 templated 欄位 到 super 建構函式 (#36934)修復: 在 GKEStartPodOperator 中 尊重 連線 ID 和 模擬 (#36861)修復 warnings.warn 中 的 stacklevel 到 providers 中 (#36831)修復 GCP Dataproc 連結中 的 棄用 (#36834)修復 建構函式中 templated 欄位 的 賦值 (#36603)在 將 Dataproc 運算子 推遲 到 觸發器 之前 檢查 叢集 狀態 (#36892)防止 運算子 __init__ 中 的 templated 欄位 邏輯 檢查 (#36489)直接 透過 BigQuery 載入 API 保留 ASCII 控制 字元 (#36533)更改 'BaseSQLToGCSOperator' 中的 預設 'parquet_row_group_size' (#36817)修復 google 運算子 處理 模擬 鏈 的問題 (#36903)
其他¶
樣式(providers/google): 改進 BigQueryInsertJobOperator 型別 提示 (#36894)棄用 用於 視覺和影片的 AutoMLTrainModelOperator (#36473)刪除 KubernetesPodOperator 模組的 向後相容性 檢查 (#36724)刪除 KubernetesPodTrigger 模組的 向後相容性 檢查 (#36721)將 所有 providers 和 airflow 的 最小 pandas 依賴項 設定為 1.2.5 (#36698)刪除 不必要的 templated 欄位 (#36491)文件(providers/google): 在 文件字串中將 GoogleBaseHookAsync 改寫為 GoogleBaseAsyncHook (#36946)
10.13.1¶
其他¶
刪除 stackdriver 的 向後相容 程式碼 (#36442)刪除 未使用的 '_parse_version' 函式 (#36450)從 GCS 任務 處理程式中 刪除 剩餘的 Airflow 2.5 向後相容 程式碼 (#36443) (#36457)
10.13.0¶
注意
此 provider 版本僅適用於 Airflow 2.6+，如 Apache Airflow providers 支援策略中所述。
功能¶
GCP Secrets 後端 模擬 (#36072)向 GcsOperators 新增 OpenLineage 支援 - 刪除、 轉換 和 TimeSpanTransform (#35838)新增 對 使用 computeEngineSSHHook (google provider) 和 IAP 隧道 進行 服務帳戶 模擬的 支援 (#35136)新增 Datascan 分析 (#35696)向 Google Cloud Run 作業 執行 運算子的 模板 欄位新增 覆蓋 (#36133)為 BeamRunJavaPipelineOperator 實現 可延期 模式 (#36122)新增 在非 可延期 模式下為 BeamRunPythonPipelineOperator 執行 流式 作業的 能力 (#36108)將 use_glob 新增到 GCSObjectExistenceSensor (#34137)
錯誤修復¶
修復 DataprocSubmitJobOperator 以檢索 失敗 作業 錯誤 訊息 (#36053)修復 CloudRunExecuteJobOperator 無法在 可延期 模式下檢索 Cloud Run 作業 狀態 (#36012)修復 gcs 列表 - 確保 blobs 已載入 (#34919)允許 模擬 鏈中的 多個 元素 (#35694)將 Google Dataflow 客戶端的 重試 型別更改為 非同步 重試 (#36141)DataprocCreateClusterOperator 運算子文件的 小幅修復。 (#36322)修復(bigquery.py): 將正確的 project_id 傳遞給 觸發器 (#35200)在檢查 字首之前 迭代 blobs (#36202)修復 與 google-cloud-monitoring 2.18.0 的不相容性 (#36200)更新 PubSubAsyncHook 中的 'retry' 引數 型別 (#36198)
其他¶
將 providers 中的最低 Airflow 版本提升至 Airflow 2.6.0 (#36017)棄用 'CloudComposerEnvironmentSensor'，推薦使用帶有 defer 模式的 'CloudComposerCreateEnvironmentOperator' (#35775)在子類中遵循 BaseHook 連線欄位方法簽名 (#36086)允許傳遞儲存選項 (#35820)新增從原始碼構建 "chicken-egg" 包的功能 (#35890)從 Google Provider 中移除剩餘的 Airflow 2.5 向後相容程式碼 (#36366)將 KubernetesPodTrigger hook 移動到快取屬性 (#36290)透過 Ruff 在文件字串中新增程式碼片段格式 (#36262)
10.12.0¶
功能¶
為 schema_settings 和 message_retention_duration 添加了主題引數。 (#35767)新增對 GCSToBigQueryOperator 的 OpenLineage 支援 (#35778)新增對 BigQueryToGCSOperator 的 OpenLineage 支援 (#35660)為 Dataproc 新增對驅動程式池、例項靈活性策略和 min_num_instances 的支援 (#34172)為 Dataproc worker 新增 "NON_PREEMPTIBLE" 作為有效的搶佔型別 (#35669)新增將 impersonation_chain 傳遞給 BigQuery 觸發器的能力 (#35629)在 GoogleDisplayVideo360CreateQueryOperator 中為本地檔案新增過濾器 (#35635)擴充套件使用 GCP GCS 的遠端日誌記錄的任務上下文日誌記錄支援 (#32970)
Bug 修復¶
修復並重新應用 provider 文件的模板 (#35686)修復檢查 dataflow 作業狀態的邏輯 (#34785)
其他¶
從 BigQueryToBigQueryOperator 中移除對已棄用方法的使用 (#35605)在父類而不是 TaskContextLogger set_context 中檢查 attr (#35780)移除 providers 中與 Airflow 2.3/2.4 的向後相容 (#35727)在 GoogleDiscoveryApiHook 中恢復 delegate_to 引數 (#35728)移除對 BigQueryCursor 中已棄用方法的使用 (#35606)對齊 'MSSQLToGCSOperator' 的文件 (#35715)
10.11.1¶
其他¶
將 Google Ads API 版本從 v14 更新到 v15 (#35295)
10.11.0¶
功能¶
AIP-58：新增 Airflow 物件儲存 (AFS) (#34729)改進 Dataprep hook (#34880)
其他¶
將 'overrides' 引數新增到 CloudRunExecuteJobOperator (#34874)
10.10.1¶
其他¶
新增與 Google Cloud Storage 相關的文件之間的連結 (#34994)將 AI Platform Prediction 的舊版本遷移到 VertexAI (#34922)在 DataprocInstantiate{Inline}WorkflowTemplateOperator 的 on_kill 中取消工作流 (#34957)
10.10.0¶
注意
如Apache Airflow providers 支援策略中所述，此 provider 版本僅適用於 Airflow 2.5+。
功能¶
改進：在 BigQueryIntervalCheckOperator 中引入 project_id (#34573)
Bug 修復¶
在為 google sensors 引發異常時遵守 soft_fail 引數 (#34501)修復 GCSToGoogleDriveOperator 和 gdrive 系統測試 (#34545)修復 LookerHook 序列化缺少 1 個引數錯誤 (#34678)修復 Dataform 系統測試 (#34329)
其他¶
提升 providers 的最低 airflow 版本 (#34728)重構 DataFusionInstanceLink 用法 (#34514)在 Google Provider 示例中使用 'airflow.models.dag.DAG' (#34614)棄用 Life Sciences Operator 和 Hook (#34549)在 providers 中使用 'airflow.exceptions.AirflowException' (#34511)
10.9.0¶
功能¶
為 CloudDataFusionStartPipelineOperator 新增對流（即時）管道的顯式支援 (#34271)將 'expected_terminal_state' 引數新增到 Dataflow operators (#34217)
Bug 修復¶
修復：當在 body 引數中給出時，'ComputeEngineInsertInstanceOperator' 不遵守 jinja 模板化的例項名稱 (#34171)修復：BigQuery 作業錯誤訊息 (#34208)GKEPodHook 忽略 gcp_conn_id 引數。 (#34194)
其他¶
提升 Google provider 的 min common-sql provider 版本 (#34257)移除 字典上不必要的 keys() 方法呼叫 (#34260)重構： 在 providers 中積極思考 (#34279)重構： 簡化 providers/google 中的程式碼 (#33229)重構： 簡化比較 (#34181)棄用 NL 的 AutoMLTrainModelOperator (#34212)簡化為 bool(...) (#34258)使 Google Dataform operators 的 templated_fields 更加一致 (#34187)
10.8.0¶
特性¶
為 Dataplex DataQuality 新增 deferrable 模式。 (#33954)允許在 Google Cloud 連線上設定 impersonation_chain (#33715)
Bug 修復¶
fix(providers/google-marketing-platform): 當引發異常時，尊重 soft_fail 引數 (#34165)fix: endpoint_service.py 中的文件字串 (#34135)修復 BigQueryValueCheckOperator deferrable 模式最佳化 (#34018)Datafusion pipelines 的 artifact 版本動態設定 (#34068)如果 Dataproc 叢集以 ERROR 狀態啟動，則儘早刪除它。 (#33668)當使用 DataFusionAsyncHook 時，透過將 sleep 替換為 asyncio.sleep 來避免阻塞事件迴圈 (#33756)
其他¶
整合 os.path.* 的匯入 (#34060)重構 providers 中的正則表示式 (#33898)在 Google provider 中，如果可能，將 try 移到迴圈外部 (#33976)合併 providers 中類似的 if 邏輯 (#33987)從 providers 中刪除無用的字串連線 (#33968)更新 Azure fileshare hook 以使用 azure-storage-file-share 而不是 azure-storage-file (#33904)重構 providers 中不需要的跳轉 (#33833)當在 providers 中尋找正值時，用 any 替換迴圈 (#33984)在 providers 中，用 contextlib.suppress 替換 try - except pass (#33980)從 providers 程式碼中刪除一些無用的 try/except (#33967)在 Airflow providers 中，用解包替換序列連線 (#33933)從 'BigQueryHook.get_pandas_df' 中刪除一個已棄用的選項 (#33819)在 providers 中，用 dict() 替換不必要的字典推導式 (#33857)透過將其中一些移到型別檢查塊中，改進 google provider 中的模組匯入 (#33783)在 providers 中，使用帶有多個上下文的單個語句，而不是巢狀語句 (#33768)在 providers 中，使用字面量字典而不是呼叫 dict() (#33761)刪除不必要的，並使用 providers 中的列表重寫它 (#33763)重構： 簡化一些迴圈 (#33736)E731: 在 Airflow providers 中，用 def 方法替換 lambda (#33757)在 Airflow providers 中使用 f-string (#33752)
10.7.0¶
特性¶
新增 CloudRunHook 和 operators (#33067)新增 'CloudBatchHook' 和 operators (#32606)新增對 Google Cloud 的 Data Pipelines Run Operator 的支援 (#32846)將引數 sftp_prefetch 新增到 SFTPToGCSOperator (#33274)新增 Google Cloud 的 Data Pipelines Create Operator (#32843)新增 Dataplex Data Quality operators。 (#32256)
Bug 修復¶
修復了當使用不同於 CSV 的格式時 BigQueryCreateExternalTableOperator 的問題 (#33540)修復 DataplexDataQualityJobStatusSensor 並新增單元測試 (#33440)避免在執行時和模組級別匯入 pandas 和 numpy (#33483)
其他¶
將缺少的模板欄位新增到 DataformCreateCompilationResultOperator (#33585)整合 pandas 的匯入和使用 (#33480)從 datetime 匯入 utc 並規範化其匯入 (#33450)
10.6.0¶
特性¶
openlineage, bigquery: 為 BigQueryExecuteQueryOperator 新增 openlineage 方法支援 (#31293)將 GCS Requester Pays bucket 支援新增到 GCSToS3Operator (#32760)為 CloudDataTransferServiceGCSToGCSOperator 新增系統測試和文件 (#32960)為SQL運算子新增一個新引數，以指定conn id欄位(#30784)
Bug 修復¶
修復 'DataFusionAsyncHook' 捕獲 404 錯誤 (#32855)修復 MetastoreHivePartitionSensor 的系統測試 (#32861)修復捕獲 409 錯誤 (#33173)使 'sql' 成為 'BigQueryInsertJobOperator' 中的快取屬性 (#33218)
其他¶
refactor(providers.google): 對 DATAPROC_JOB_LOG_LINK 使用模組級別的 __getattr__ 到 DATAPROC_JOB_LINK 並新增棄用警告 (#33189)
10.5.0¶
新特性¶
openlineage, gcs: 為 GcsToGcsOperator 新增 openlineage 方法 (#31350)使用 Dataproc Operators 新增 Spot 例項支援 (#31644)將 sqlalchemy-spanner 包安裝到 Google provider 中 (#31925)過濾和排序 DataprocListBatchesOperator 的結果 (#32500)
Bug 修復¶
修復 BigQueryGetDataOperator 在 deferrable 模式下不遵守 project_id 的問題 (#32488)重新整理 GKE OAuth2 令牌 (#32673)修復 'BigQueryInsertJobOperator' 沒有退出 deferred 狀態 (#31591)
其他¶
修復已棄用的 DataprocSubmitSparkJobOperator 的文件字串，並重構系統測試 (#32743)為 DbApiHook.run 方法新增更準確的型別提示 (#31846)將棄用資訊新增到 providers 模組和類的文件字串中 (#32536)修復已棄用的 DataprocSubmitHiveJobOperator 的文件字串 (#32723)修復已棄用的 DataprocSubmitPigJobOperator 的文件字串 (#32739)修復 Datafusion 系統測試 (#32749)
10.4.0¶
新特性¶
為 S3ToGCSOperator 實現 deferrable 模式 (#29462)
Bug 修復¶
當複製檔案到沒有萬用字元的資料夾時，修復 GCSToGCSOperator (#32486)修復 'GCSHook' 中 upload 函式的 'cache_control' 引數 (#32440)修復 BigQuery transfer operators 以遵守 project_id 引數 (#32232)修復在空列表上 gcp_gcs_delete_objects 的問題 (#32383)修復 cloud_build 中 defer 的無限迴圈問題 (#32387)修復 GCSToGCSOperator 在沒有萬用字元且 exact_match=True 的情況下的複製問題 (#32376)
其他¶
允許提供目標資料夾 (#31885)將 'AzureBlobStorageToGCSOperator' 從 Azure 移動到 Google provider (#32306)在 BigQueryInsertJobOperator 中提供更好的 job configuration docs 連結 (#31736)
10.3.0¶
新特性¶
將 'on_finish_action' 新增到 'KubernetesPodOperator' (#30718)將 deferrable 模式新增到 CloudSQLExportInstanceOperator (#30852)將 'src_fmt_configs' 新增到模板欄位列表中 (#32097)
Bug 修復¶
[Issue-32069] 修復批次請求中的名稱格式 (#32070)修復 'BigQueryInsertJobOperator' 在 deferrable 模式下的錯誤處理 (#32034)修復 'BigQueryConsoleLink' 中的 'BIGQUERY_JOB_DETAILS_LINK_FMT' (#31953)使 DataprocCreateBatchOperator 的 deferrable 版本能夠處理已存在的 batch_id (#32216)
其他¶
將 Google Ads API 版本從 v13 切換到 v14 (#32028)棄用 GCS 中的 'delimiter' 引數和源物件的萬用字元，引入 'match_glob' 引數 (#31261)重構 GKECreateClusterOperator 的 body 驗證 (#31923)最佳化 'BigQueryValueCheckOperator' 的 deferrable 模式執行 (#31872)新增 default_deferrable 配置 (#31712)
10.2.0¶
注意
此版本放棄了對 Python 3.7 的支援
新特性¶
在迴圈中生成事件時新增 return 以停止執行 (#31985)將 deferrable 模式新增到 PubsubPullSensor (#31284)新增一個新引數，以在 'BaseSQLToGCSOperator' 中設定 parquet 行組大小 (#31831)將 'cacheControl' 欄位新增到 google cloud storage (#31338)將 'preserveAsciiControlCharacters' 新增到 'src_fmt_configs' (#31643)將 credential configuation 檔案身份驗證支援新增到 Google Secrets Manager secrets 後端 (#31597)將 credential configuration 檔案支援新增到 Google Cloud Hook (#31548)將 deferrable 模式新增到 'GCSUploadSessionCompleteSensor' (#31081)在 DataflowStartFlexTemplateOperator 中新增 append_job_name 引數 (#31511)FIPS 環境：將 md5 的使用標記為“不用於安全目的” (#31171)實現 MetastoreHivePartitionSensor (#31016)
Bug 修復¶
Bigquery: 修復已存在的表和資料集的連結 (#31589)為 TabularDataset 提供缺少的 project id 和 creds (#31991)
其他¶
最佳化 'DataprocSubmitJobOperator' 的 deferrable 模式執行 (#31317)最佳化 可延期模式 執行 ，針對 'BigQueryInsertJobOperator' (#31249)移除 在 yield from triggers 類 後的 return 語句 (#31703)用 標準 csv 庫 替換 unicodecsv (#31693)最佳化 可延期模式 (#31758)移除 Python 3.7 支援 (#30963)
10.1.1¶
Bug修復¶
修復 透過 私有 端點 在 'GKEStartPodOperator' 中 訪問 GKE 叢集 的問題 (#31391)修復 'BigQueryGetDataOperator' 在 可延期模式 下的 查詢 作業 錯誤 (#31433)
10.1.0¶
注意
正如 Apache Airflow providers 支援策略中所述，此 provider 版本僅適用於 Airflow 2.4+。
注意
此版本將預設的 Google Ads 更新為 v13。由於 Google 已棄用 v12 並且即將刪除它，因此我們不認為這是 Airflow 中的一項重大更改。
注意
此版本的 provider 更新了許多 Google 包。請檢視包更改日誌
特性¶
新增 可延期模式 到 DataprocInstantiateInlineWorkflowTemplateOperator (#30878)新增 可延期模式 到 'GCSObjectUpdateSensor' (#30579)新增 協議 來 定義 KubernetesPodOperator 依賴的 方法 (#31298)新增 BigQueryToPostgresOperator (#30658)
Bug修復¶
'DataflowTemplatedJobStartOperator' 修復了 當 提供了 區域時， 用 預設值 覆蓋 location 的問題。 (#31082)在 為 GCSObjectsWithPrefixExistenceSensor 延期 之前 先 輪詢 一次 (#30939)新增 可延期模式 到 'GCSObjectsWithPrefixExistenceSensor' (#30618)允許 在 gcs 刪除/列表 hooks 和 operators 中使用 多個 字首 (#30815)修復 在 可延期 GCS 感測器中 刪除的 delegate_to 引數 (#30810)
其他¶
新增 'use_legacy_sql' 引數 到 'BigQueryGetDataOperator' (#31190)新增 'as_dict' 引數 到 'BigQueryGetDataOperator' (#30887)新增 標記 apply_gcs_prefix 到 S3ToGCSOperator (b/245077385) (#31127)新增 'priority' 引數 到 BigQueryHook (#30655)提升 providers 中的 最低 Airflow 版本 (#30917)為 BigQueryCreateExternalTableOperator 實現 gcs_schema_object (#30961)最佳化 延遲 執行 模式 (#30946)最佳化 可延期模式 執行 (#30920)最佳化 在 'GCSObjectExistenceSensor' 中的 可延期模式 (#30901)'CreateBatchPredictionJobOperator' 為 Vertex AI BatchPredictionJob 物件 新增 batch_size 引數 (#31118)GKEPodHook 需要 具有 KPO 呼叫的 所有 方法 (#31266)新增 CloudBuild 構建 id 日誌 (#30516)將 預設 Google ads 切換到 v13 (#31382)切換到 google ads v13 (#31369)更新 google provider 包的 SDK (#30067)
10.0.0¶
重大更改¶
Google 宣佈將於 2023 年 4 月 20 日停止 Campaign Manager 360 v3.5。有關更多資訊，請檢視：https://developers.google.com/doubleclick-advertisers/deprecation 。因此，Campaign Manager 360 operator 的預設 api 版本已更新為最新的 v4 版本。
警告
在此版本的 provider 中，已從所有 GCP operators、hooks 和 triggers 中刪除已棄用的 delegate_to 引數，以及與 GCS 互動的 firestore 和 gsuite transfer operators。可以透過使用 impersonation_chain 引數來實現模擬。delegate_to 引數仍僅在 gsuite 和 marketing platform hooks 和 operators 中可用，它們不與 Google Cloud 互動。
從 GCP operators 和 hooks 中 移除 delegate_to (#30748)更新 Google Campaign Manager360 operators 以使用 API v4 (#30598)
Bug修復¶
更新 DataprocCreateCluster operator 以正確使用 'label' 引數 (#30741)
其他¶
在 BigQueryGetDataOperator 中 新增 缺失的 project_id (#30651)展示 Video 360 清理 v1 API 用法 (#30577)
9.0.0¶
重大更改¶
Google 宣佈將於 2023 年 4 月 27 日停止 Bid manager API v1 和 v1.1，有關更多資訊，請檢視：docs 因此，GoogleDisplayVideo360Hook 和相關 operators 中的 api_version 預設值已更新為 v2
此版本的 provider 包含一個臨時解決方法，用於解決 google-ads API 的 v11 版本已停止使用的問題，而 google provider 依賴項阻止安裝任何支援 v12 API 的 google-ads 客戶端。此版本包含 google-ads 庫的內建版本 20.0.0，僅支援 v12。一旦 provider 的依賴項允許使用支援更新版本的 google-ads API 的 google-ads，此解決方法（和內建庫）將被刪除。
注意
僅支援 google ads 的 v12 版本。建立 operator 或客戶端時，應設定 v12。
更新 DV360 operators 以使用 API v2 (#30326)修復 google ads 內建庫中的 動態 匯入 (#30544)修復 vendored-in google ads 所需的 另一個 動態 匯入 (#30564)
特性¶
新增 可延期模式 到 GKEStartPodOperator (#29266)
Bug修復¶
BigQueryHook list_rows/get_datasets_list 可以返回 迭代器 (#30543)修復 雲 構建 非同步 憑據 (#30441)
8.12.0¶
特性¶
在 Bigquery operator 中 新增 缺失的 'poll_interval' (#30132)在 BigQueryInsertJobOperator 中新增 poll_interval 引數 (#30091)新增 'job_id' 到 'BigQueryToGCSOperator' templated_fields (#30006)支援 在 使用 遠端 日誌記錄 時 刪除 本地 日誌 檔案 (#29772)
Bug 修復¶
修復 設定 gs 到 bq 和 bq 到 gs 的 project_id (#30053)修復 雲構建 運算子上的 location (#29937)'GoogleDriveHook': 修復 日誌 訊息 + 新增 更詳細的 文件 (#29694)將 "BOOLEAN" 新增到 MSSQLToGCSOperator 的 type_map，修復 不正確的 bit->int 型別 轉換，透過 顯式指定 BIT 欄位 (#29902)Google Cloud Providers - 修復 _MethodDefault deepcopy 失敗 (#29518)處理 非同步 BigQuery dts 觸發器上的 專案 location 引數 (#29786)支援 CloudDataTransferServiceJobStatusSensor 而不指定 project_id (#30035)在 正常 模式下 等待 insert_job 結果 (#29925)
其他¶
將 BigQueryTableExistenceAsyncSensor 合併到 BigQueryTableExistenceSensor (#30235)從 google provider 中刪除 不必要的 上限 約束 (#29915)將 BigQueryTableExistencePartitionAsyncSensor 合併到 BigQueryTableExistencePartitionSensor (#30231)將 GCSObjectExistenceAsyncSensor 邏輯 合併到 GCSObjectExistenceSensor (#30014)將 cncf provider 檔名 與 AIP-21 對齊 (#29905)切換到 使用 供應商提供的 google ads。 (#30410)合併 google ads 供應商提供的 程式碼。 (#30399)
8.11.0¶
特性¶
為 BigQueryTablePartitionExistenceSensor 新增 可延期 模式。 (#29735)為 BigQuery 運算子新增 一個 新 引數，以 支援 資源 存在時的 其他 操作 (#29394)為 DataprocInstantiateWorkflowTemplateOperator 新增 可延期 模式 (#28618)Dataproc 批處理 (#29136)新增 'CloudSQLCloneInstanceOperator' (#29726)
Bug 修復¶
修復 'NoneType' 物件 不可下標。 (#29820)修復 並 增強 'check-for-inclusive-language' CI 檢查 (#29549)不要 在 BigQueryCreateDataTransferOperator 的 XCOM 中推送 secret (#29348)
其他¶
Google Cloud Providers - 引入 GoogleCloudBaseOperator (#29680)更新 google cloud dlp 包，並調整 hook 和 operators (#29234)重構 Dataproc 觸發器 (#29364)刪除 google-cloud-bigtable 上的 <2.0.0 限制 (#29644)將 幫助 訊息 移動到 google auth 程式碼 (#29888)
8.10.0¶
特性¶
為 GKECreateClusterOperator 和 GKEDeleteClusterOperator 新增 延遲 模式 (#28406)
Bug 修復¶
將 cloud_sql_binary_path 從 connection 移動到 Hook (#29499)檢查 cloud sql provider 版本是否有效 (#29497)'GoogleDriveHook': 為 upload_file 新增 folder_id 引數 (#29477)
其他¶
為 BigQuery 傳輸 運算子新增 文件 (#29466)
8.9.0¶
特性¶
為現有 ''DataprocDeleteClusterOperator'' 新增 可延期 功能 (#29349)為 dataflow 運算子新增 可延期 模式 (#27776)為 DataprocCreateBatchOperator 新增 可延期 模式 (#28457)為 DataprocCreateClusterOperator 和 DataprocUpdateClusterOperator 新增 可延期 模式 (#28529)為 MLEngineStartTrainingJobOperator 新增 可延期 模式 (#27405)為 DataFusionStartPipelineOperator 新增 可延期 模式 (#28690)為 Big Query Transfer 運算子新增 可延期 模式 (#27833)新增 對 BaseSQLToGCSOperator 中 write_on_empty 的支援 (#28959)新增 DataprocCancelOperationOperator (#28456)啟用 單獨的 觸發器 日誌記錄 (#27758)Auto ML 資產 (#25466)
Bug 修復¶
修復 GoogleDriveHook 在上傳 v2 時將檔案寫入已放入回收站的資料夾 (#29119)修復 Google provider CHANGELOG.rst (#29122)修復 Google provider CHANGELOG.rst (#29114)Keyfile dict 可以是 dict 而不是 str (#29135)GCSTaskHandler 可能使用 遠端 日誌 conn id (#29117)
其他¶
棄用 GCP 運算子中的 'delegate_to' 引數並更新文件 (#29088)
8.8.0¶
特性¶
新增 可延期 ''GCSObjectExistenceSensorAsync'' (#28763)支援 BaseSQLToGCSOperator 中的 partition_columns (#28677)
Bug 修復¶
'BigQueryCreateExternalTableOperator' 修復了 欄位 分隔符 不適用於 csv 的問題 (#28856)修復了使用私有 _get_credentials 而不是公共 get_credentials 的問題 (#28588)修復了 'QUEUED' 狀態的 'GoogleCampaignManagerReportSensor' (#28735)修復了 BigQueryColumnCheckOperator 執行時錯誤 (#28796)將 "datasetReference" 屬性分配給 dataset_reference dict。 如果 在 bigquery hook 的 create_empty_dataset 方法中尚未設定，則預設使用 (#28782)
8.7.0¶
特性¶
將 table_resource 新增到 template 欄位中， 用於 BigQueryCreateEmptyTableOperator (#28235)在 GCSObjectExistenceSensor 中新增 retry 引數 (#27943)將 preserveAsciiControlCharacters 新增到 src_fmt_configs (#27679)將 deferrable 模式 新增到 CloudBuildCreateBuildOperator (#27783)GCSToBigQueryOperator 允許 自動檢測 None 並推斷 schema (#28564)改進 Dataproc deferrable operators 中的 記憶體 使用 (#28117)為 dataproc submit job op 推送 job_id 到 xcom (#28639)
Bug修復¶
修復了 GCSToBigQueryOperator 中讀取 JSON 檔案的 schema 欄位的問題 (#28284)修復 GCSToBigQueryOperator 不遵守 schema_obj 的問題 (#28444)修復 GCSToGCSOperator 複製不帶 萬用字元的 物件列表 的問題 (#28111)修復: 重新啟用 在 gcs_to_bq 中使用引數， 之前已被停用 (#27961)正確設定 bigquery ''use_legacy_sql'' 引數 在 job config 中 (#28522)
其他¶
刪除 'pylint' 訊息 控制 指令 (#28555)從 google/provider.yaml 刪除已棄用的 AIPlatformConsoleLinkk (#28449)在 config.yml 中使用 object 代替 array 作為 config template (#28417)[misc] 移除 conditions 中的 'pass' 語句 (#27775)當 google secret manager 找不到 secret 時， 將 log 級別更改為 DEBUG (#27856)[misc] 在 providers 中使用 'exactly_one' 輔助函式替換 XOR '^' 條件 (#27858)
8.6.0¶
特性¶
無論 job 狀態如何，都為 workflow operators 保留 DataprocLink (#26986)BigQueryToGCSOperator 的可延遲 模式 (#27683)在 BigQueryToGCSOperator 中的 模板 欄位中新增 匯出 格式 (#27910)
Bug修復¶
修復 BigQueryToBigQueryOperator 中正確讀取 location 引數的問題 (#27661)將 common.sql provider 升級到 1.3.1 (#27888)
8.5.0¶
注意
正如 Apache Airflow providers 支援策略中所述，此 provider 版本僅適用於 Airflow 2.3+
其他¶
將 所有 providers 的最小 airflow 版本移動到 2.3.0 (#27196)將 hook bigquery 函式 '_bq_cast' 重新命名為 'bq_cast' (#27543)在 BigQueryHook 中使用非棄用方法 on_kill (#27547)型別轉換 biquery job response col value (#27236)刪除 google-cloud-storage 上 <2 的限制 (#26922)將 urlparse 替換為 urlsplit (#27389)
特性¶
當在環境變數或 secrets backend 中定義連線時，之前 extra 欄位需要使用字首 extra__google_cloud_platform__ 定義。現在不再需要了。因此，例如，您可以將 keyfile json 儲存為 keyfile_dict 而不是 extra__google_cloud_platform__keyfile_dict。如果兩者都存在，則優先使用短名稱。
新增與舊版本的 Apache Beam 的向後相容性 (#27263)為 GCSToBigQueryOperator 新增 deferrable 模式 + 測試 (#27052)在新方法中為 Vertex AI operators 新增系統測試 (#27053)Dataform operators、連結、更新系統測試和文件 (#27144)允許 WorkflowsCreateExecutionOperator execution 引數中的值是字典 (#27361)DataflowStopJobOperator Operator (#27033)允許覆蓋 Postgres 中 json/jsonb 列資料型別的 stringify_dict #26875 (#26876)允許並優先使用 dataprep hook 的非字首 extra 欄位 (#27039)更新 google hooks 以優先使用非字首 extra 欄位 (#27023)
Bug修復¶
新增新的 Compute Engine Operators 並修復系統測試 (#25608)Common sql bugfixes 和改進 (#26761)修復 Dataproc CreateBatch operator 中的延遲 (#26126)刪除 signature 中單個引數周圍的不必要換行符 (#27525)取消 BigQuery job 時，設定 project_id 和 location (#27521)使用正確的 key 來檢索 dataflow job_id (#27336)當沒有值時，使 GSheetsHook 返回一個空列表 (#27261)Cloud ML Engine operators assets (#26836)
8.4.0¶
特性¶
新增 BigQuery 列和表檢查 Operators (#26368)新增 deferrable big query operators 和 sensors (#26156)將 'output' 屬性新增到 MappedOperator (#25604)為 DataflowTemplatedJobStartOperator 新增 append_job_name 引數 (#25746)在 GoogleDriveHook 中新增一個引數用於排除已放入回收站的檔案 (#25675)雲資料防丟失 (Data Loss Prevention) 運算子資產 (#26618)雲端儲存轉移 (Storage Transfer) 運算子資產 & 系統測試遷移 (AIP-47) (#26072)將可延期的 (deferrable) BigQuery 操作符合併到現有運算子中 (#26433)在 delete/create cluster 中呼叫 wait_for_operation 時指定 project id (#26418)在 Web UI 中自動跟蹤檔案日誌 (#26169)雲函式 (Cloud Functions) 運算子資產 & 系統測試遷移 (AIP-47) (#26073)GCSToBigQueryOperator 解決 'max_id_key' 作業檢索和 xcom 返回問題 (#26285)允許覆蓋 BaseSQLToGCSOperator 上 json 匯出格式的 'stringify_dict' (#26277)在連結類中附加 GoogleLink 基礎連結 (#26057)雲影片智慧 (Cloud Video Intelligence) 運算子資產 & 系統測試遷移 (AIP-47) (#26132)生命科學 (Life Science) 資產 & 系統測試遷移 (AIP-47) (#25548)GCSToBigQueryOperator 允許 schema_object 位於備用 GCS Bucket 中 (#26190)在可延期模式下，為 Composer 運算子使用 AsyncClient (#25951)使用 project_id 獲取已認證的客戶端 (#25984)雲構建 (Cloud Build) 資產 & 系統測試遷移 (AIP-47) (#25895)Dataproc 提交作業運算子非同步 (#25302)在 BigQueryGetDataOperator 中支援 project_id 引數 (#25782)
Bug 修復¶
修復 Datafusion 運算子中的 JSONDecodeError (#26202)修復 CreateWorkflowInvocation 中永不結束的迴圈 (#25737)更新 gcs.py (#26570)當 BQ cursor 作業沒有 schema 時，不要丟擲異常 (#26096)用於佇列為空的 Google Cloud Tasks Sensor (#25622)更正傳輸配置名稱。 (#25719)修復 BigQuery 結果 Schema 中可選 'mode' 欄位的解析 (#26786)修復 GCSToBigQueryOperator 的 MaxID 邏輯 (#26768)
其他¶
Sql to GSC 運算子更新 parquet 格式的文件 (#25878)限制 Google Protobuf，以相容 biggtable 客戶端 (#25886)使 GoogleBaseHook 憑證函式公開 (#25785)整合到一個 'schedule' 引數 (#25410)
8.3.0¶
新特性¶
在 BigQueryCursor 類中新增 description 方法 (#25366)在兩個 BQ 運算子中新增 project_id 作為模板變數 (#24768)刪除 Amazon provider 中已棄用的模組 (#25543)將所有 "舊" SQL 運算子移動到 common.sql providers (#25350)使用 ParamSpec 改進 taskflow 型別提示 (#25173)使用覆蓋它的方法統一 DbApiHook.run() 方法 (#23971)為 ParamSpec 提升 typing-extensions 和 mypy (#25088)棄用 hql 引數並同步 DBApiHook 方法 API (#25299)Dataform 運算子 (#25587)
Bug 修復¶
修復 GCSListObjectsOperator 文件字串 (#25614)修復 BigQueryInsertJobOperator cancel_on_kill (#25342)修復 BaseSQLToGCSOperator approx_max_file_size_bytes (#25469)修復 PostgresToGCSOperat bool dtype (#25475)修復 Vertex AI 自定義作業訓練問題 (#25367)修復 Flask Login 使用者設定為 Flask 2.2 和 Flask-Login 0.6.2 (#25318)
8.2.0¶
新特性¶
PubSub 資產 & 系統測試遷移 (AIP-47) (#24867)新增對現有 Dataproc 批處理狀態的處理 (#24924)為 Google Kubernetes Engine 運算子新增連結 (#24786)向 'GoogleBaseHook' 新增 test_connection 方法 (#24682)將 gcp_conn_id 引數新增到 GoogleDriveToLocalOperator (#24622)為 AutoML 中的 column_transformations 引數新增 DeprecationWarning (#24467)修改 BigQueryCreateExternalTableOperator 以使用更新後的 hook 函式 (#24363)將所有 SQL 類移動到 common-sql provider (#24836)Datacatalog 資產 & 系統測試遷移 (AIP-47) (#24600)將 FAB 升級到 4.1.1 (#24399)
Bug 修復¶
GCSDeleteObjectsOperator 空字首 bug 修復 (#24353)perf(BigQuery): 將 table_id 作為 str 型別傳遞 (#23141)更新 providers 以使用 functools compat for ''cached_property'' (#24582)
8.1.0¶
新特性¶
將 Oracle 庫更新到最新版本 (#24311)公開 SQL to GCS 元資料 (#24382)
Bug 修復¶
修復 google provider additional extras 中的拼寫錯誤 (#24431)在 BigQueryToGCPOpertor 中使用 insert_job 並調整連結 (#24416)
8.0.0¶
重大變更¶
注意
此 provider 版本僅適用於 Airflow 2.2+，如 Apache Airflow providers 支援策略中所述。
功能特性¶
新增 key_secret_project_id 引數，用於指定包含 KeyFile 的專案 (#23930)為 DataflowStartFlexTemplateOperator 和 DataflowStartSqlJobOperator 添加了 impersonation_chain (#24046)向 CLOUD_SQL_EXPORT_VALIDATION 新增 欄位。 (#23724)在使用 Compute Engine 中的 ADC 時，更新 憑據 (#23773)在 cloud_sql.py 中，為 operators 設定 顏色 (#24000)從 SQL 到 GCS，支援 排除 列 (#23695)[Issue#22846] 允許選擇是否對UUID進行編碼，當從Cassandra上傳到GCS時 (#23766)工作流資產&系統測試遷移(AIP-47) (#24105)Spanner 資產 & 系統 測試 遷移 (AIP-47) (#23957)語音 轉 文字 資產 & 系統 測試 遷移 (AIP-47) (#23643)Cloud SQL 資產 & 系統 測試 遷移 (AIP-47) (#23583)Cloud Storage 資產 & StorageLink 更新 (#23865)
Bug 修復¶
修復 BigQueryInsertJobOperator (#24165)修復指向googleworkplace的連結 (#24080)修復 DataprocJobBaseOperator 與 點式 名稱 不相容的問題 (#23439). (#23791)從 BigQuery DTS hook 中 刪除 hack (#23887)修復 GCSToGCSOperator 無法 複製 單個 檔案/資料夾，而不會複製 具有 該 字首的 其他 檔案/資料夾的問題 (#24039)解決 biguery 到 gcs 傳輸 的 job 競爭 bug (#24330)
其他¶
修復 BigQuery 系統 測試 (#24013)確保 @contextmanager 修飾 生成器 函式 (#23103)將 Dataproc 遷移到 新的 系統 測試 設計 (#22777)AIP-47 - 將 google leveldb DAG 遷移到 新的 設計 ##22447 (#24233)將 per-run 日誌 模板 應用於 日誌 處理程式 (#24153)
7.0.0¶
重大更改¶
從 PubSub operators 中 刪除 已棄用的 引數： (#23261)升級以支援GoogleAdsv10 (#22965)'DataprocJobBaseOperator' 更改 (#23350)'DataprocJobBaseOperator': 引數 的 順序 已更改。'region' 引數 沒有 預設值 受影響的函式/類： 'DataprocHook.cancel_job' 'DataprocCreateClusterOperator' 'DataprocJobBaseOperator'
'DatastoreHook': 刪除 'datastore_conn_id'。 請使用 'gcp_conn_id' (#23323)'CloudBuildCreateBuildOperator': 刪除 'body'。 請使用 'build' (#23263)副本 叢集 id 刪除 (#23251)'BigtableCreateInstanceOperator' 刪除 'replica_cluster_id', 'replica_cluster_zone'。 請使用 'replica_clusters''BigtableHook.create_instance': 刪除 'replica_cluster_id', 'replica_cluster_zone'。 請使用 'replica_clusters'
刪除 引數 (#23230)'GoogleDisplayVideo360CreateReportOperator': 刪除 'params'。 請使用 'parameters''FacebookAdsReportToGcsOperator': 刪除 'params'。 請使用 'parameters'
'GoogleDriveToGCSOperator': 刪除 'destination_bucket' 和 'destination_object'。 請使用 'bucket_name' 和 'object_name' (#23072)'GCSObjectsWtihPrefixExistenceSensor' 已刪除。 請使用 'GCSObjectsWithPrefixExistenceSensor' (#23050)刪除 'project': (#23231)'PubSubCreateTopicOperator': 刪除 'project'。 請使用 'project_id''PubSubCreateSubscriptionOperator': 刪除 'topic_project'。 請使用 'project_id''PubSubCreateSubscriptionOperator': 刪除 'subscription_project'。 請使用 'subscription_project_id''PubSubDeleteTopicOperator': 刪除 'project'。 請使用 'project_id''PubSubDeleteSubscriptionOperator': 刪除 'project'。 請使用 'project_id''PubSubPublishMessageOperator': 刪除 'project'。 請使用 'project_id''PubSubPullSensor': 刪除 'project'。 請使用 'project_id''PubSubPullSensor': 刪除 'return_immediately'
刪除 'location' - 已替換為 'region' (#23250)'DataprocJobSensor': 刪除 'location'。 請使用 'region''DataprocCreateWorkflowTemplateOperator': 刪除 'location'。 請使用 'region''DataprocCreateClusterOperator': 刪除 'location'。 請使用 'region''DataprocSubmitJobOperator': 刪除 'location'。 請使用 'region''DataprocHook': 刪除 'location' 引數。 請使用 'region'受影響的函式有：'cancel_job''create_workflow_template''get_batch_client''get_cluster_client''get_job''get_job_client''get_template_client''instantiate_inline_workflow_template''instantiate_workflow_template''submit_job''update_cluster''wait_for_job'
'DataprocHook': 'wait_for_job' 函式中 引數的順序 已更改'DataprocSubmitJobOperator': 引數的順序 已更改。
移除 xcom_push (#23252)'CloudDatastoreImportEntitiesOperator': 刪除 'xcom_push'。 請使用 'BaseOperator.do_xcom_push''CloudDatastoreExportEntitiesOperator': 移除 'xcom_push'。 請使用 'BaseOperator.do_xcom_push'。
'bigquery_conn_id' 和 'google_cloud_storage_conn_id' 已被移除。 請使用 'gcp_conn_id' (#23326).受影響的類：'BigQueryCheckOperator''BigQueryCreateEmptyDatasetOperator''BigQueryDeleteDatasetOperator''BigQueryDeleteTableOperator''BigQueryExecuteQueryOperator''BigQueryGetDataOperator''BigQueryHook''BigQueryIntervalCheckOperator''BigQueryTableExistenceSensor''BigQueryTablePartitionExistenceSensor''BigQueryToBigQueryOperator''BigQueryToGCSOperator''BigQueryUpdateTableSchemaOperator''BigQueryUpsertTableOperator''BigQueryValueCheckOperator''GCSToBigQueryOperator''ADLSToGCSOperator''BaseSQLToGCSOperator''CassandraToGCSOperator''GCSBucketCreateAclEntryOperator''GCSCreateBucketOperator''GCSDeleteObjectsOperator''GCSHook''GCSListObjectsOperator''GCSObjectCreateAclEntryOperator''GCSToBigQueryOperator''GCSToGCSOperator''GCSToLocalFilesystemOperator''LocalFilesystemToGCSOperator'
'S3ToGCSOperator': 移除 'dest_gcs_conn_id'。 請使用 'gcp_conn_id' (#23348)'BigQueryHook' 變更 (#23269)'BigQueryHook.create_empty_table' 移除 'num_retries'。 請使用 'retry''BigQueryHook.run_grant_dataset_view_access' 移除 'source_project'。 請使用 'project_id'
'DataprocHook': 移除已棄用的函式 'submit' (#23389)
功能¶
[功能] google provider - BigQueryInsertJobOperator 日誌查詢 (#23648)[功能] google provider - 拆分 GkeStartPodOperator 執行 (#23518)新增 exportContext.offload 標誌到 CLOUD_SQL_EXPORT_VALIDATION。 (#23614)為 BiqTable 運算子建立連結 (#23164)實現 #22859 - 新增 .sql 作為可模板化的擴充套件 (#22920)'GCSFileTransformOperator': 新的模板化欄位 'source_object', 'destination_object' (#23328)
Bug 修復¶
修復 'PostgresToGCSOperator' 不允許巢狀的 JSON (#23063)修復 GCSToGCSOperator 忽略 replace 引數，當沒有萬用字元時 (#23340)更新 processor 以修復損壞的下載連結 (#23299)'LookerStartPdtBuildOperator', 'LookerCheckPdtBuildSensor' : 修復空的物化 id 處理 (#23025)更改 ComputeSSH 丟擲 provider 匯入錯誤，而不是 paramiko (#23035)修復 DataprocSubmitJobOperator 在執行超時後 cancel_on_kill (#22955)修復 BigQueryGetDataOperator 的 select * 查詢 xcom push (#22936)MSSQLToGCSOperator 失敗： datetime 不是 JSON 可序列化的 (#22882)
其他¶
新增 Stackdriver 資產並遷移系統測試到 AIP-47 (#23320)CloudTasks 資產 & 系統測試遷移 (AIP-47) (#23282)TextToSpeech 資產 & 系統測試遷移 (AIP-47) (#23247)修復 google provider 中的程式碼片段 (#23438)Bigquery 資產 (#23165)移除 'BigQueryUpdateTableSchemaOperator' 中冗餘的文件字串 (#23349)將 gcs 遷移到新的系統測試設計 (#22778)在 'BigQueryHook.create_empty_table' 中新增缺失的文件字串 (#23270)清理 Google provider CHANGELOG.rst (#23390)將系統測試 gcs_to_bigquery 遷移到新設計 (#22753)新增用於演示 GCS 感測器用法的示例 DAG (#22808)清理行內 f-string 連線 (#23591)更新 pre-commit hook 版本 (#22887)使用新的 Breese 來構建、拉取和驗證映象。 (#23104)修復主分支中的新的 MyPy 錯誤 (#22884)
6.8.0¶
功能¶
在 BQCreateExternalTable Operator 中新增 autodetect 引數 (#22710)為 BigQuery 資料傳輸新增連結 (#22280)修改傳輸運算子以處理更多資料 (#22495)為 Vertex AI 服務建立端點和服務模型、批次預測和超引數調整任務運算子 (#22088)PostgresToGoogleCloudStorageOperator - 時區感知欄位的 BigQuery schema 型別 (#22536)更新 secrets 後端以使用 get_conn_value 代替 get_conn_uri (#22348)
Bug 修復¶
修復文件字串 (#22497)修復 'GoogleDisplayVideo360SDFtoGCSOperator' 中的 'download_media' 連結 (#22479)修復 'CloudBuildRunBuildTriggerOperator' 無法找到 build id。 (#22419)如果 src 不存在，則 Fail ''LocalFilesystemToGCSOperator'' (#22772)從 GCSTimeSpanFileTransformOperator 中移除 coerce_datetime 的用法 (#22501)
其他¶
重構： BigQuery 到 GCS Operator (#22506)在 PubSub 運算子中移除對已棄用的運算子/引數的引用 (#22519)系統測試的新設計 (#22311)
6.7.0¶
功能¶
將 dataflow_default_options 新增到 templated_fields (#22367)新增 'LocalFilesystemToGoogleDriveOperator' (#22219)向 BigQueryInsertJobOperator 新增超時和重試 (#22395)
Bug 修復¶
修復跳過非 GCS 定位的 jars (#22302)[FIX] gcs operator 的 typo 文件 (#22290)修復錯誤地為所有 provider 新增的 install_requires (#22382)
6.6.0¶
功能¶
支援 上傳 更大 的檔案 到 Google Drive (#22179)更改 預設 的 'chunk_size' 為一個 清晰的 表示 & 新增 文件 (#22222)新增 DataprocInstantiateInlineWorkflowTemplateOperator 的 指南 (#22062)允許 使用 GCS Hook 上傳 來 上傳 元資料 (#22058)新增 Dataplex 運算子 (#20377)
其他¶
新增 對 ARM 平臺 的支援 (#22127)在 PyPI 中 新增 Trove 分類器 (Framework :: Apache Airflow :: Provider)使用 yaml safe load (#22091)
6.5.0¶
功能¶
新增 Looker PDT 運算子 (#20882)新增 自動檢測 引數 到 GCSToBigQueryOperator 中 的 外部 表 建立 (#21944)新增 Dataproc 資產/連結 (#21756)為 Vertex AI 服務 新增 Auto ML 運算子 (#21470)新增 GoogleCalendarToGCSOperator (#20769)使 project_id 引數 在 所有 dataproc 運算子 中 變為 可選 (#21866)允許 在 更多 DataprocUpdateClusterOperator 欄位 中使用 模板 (#21865)Dataflow 資產 (#21639)提取 ClientInfo 到 模組級別 (#21554)Datafusion 資產 (#21518)Dataproc 元資料儲存 資產 (#21267)標準化 BigQuery 感測器 中 的 *_conn_id 引數 (#21430)
缺陷修復¶
修復 bigquery_dts 引數 文件字串 拼寫錯誤 (#21786)修復 當 use_server_side_cursor=True 時， PostgresToGCSOperator 在 空 結果集上 失敗 (#21307)修復 bigquery 示例 DAG 中 的 多 查詢 場景 (#21575)
其他¶
支援 Python 3.10取消固定 'google-cloud-memcache' (#21912)取消固定 ''pandas-gbq'' 並 刪除 未使用的 程式碼 (#21915)抑制 來自 Bigquery 傳輸 的 hook 警告 (#20119)
6.4.0¶
功能¶
新增 與 Google 日曆 整合 的 hook (#20542)將 編碼 引數 新增到 'GCSToLocalFilesystemOperator' 以修復 #20901 (#20919)將 batch 作為 DataprocCreateBatchOperator 中的 模板化 欄位 (#20905)使 timeout 對於 wait_for_operation 變為 可選 (#20981)新增為 Vertex AI 服務 建立 CustomJob 和 Datasets 運算子 (#21253)支援 將 檔案 上傳 到 Google 共享雲盤 (#21319)(providers_google) 在 bigquery 中 新增 位置 檢查 (#19571)新增 對 BeamGoPipelineOperator 的支援 (#20386)Google Cloud Composer 運算子 (#21251)在 BigQuery hook 中 啟用 非同步 作業 提交 (#21385)如果 原始檔 在 GCSToGCSOperator 中 不存在， 則 可以選擇 引發 錯誤 (#21391)
缺陷修復¶
Cloudsql 匯入 連結 修復。 (#21199)修復 BigQueryDataTransferServiceHook.get_transfer_run() 請求 引數 (#21293):bug: (BigQueryHook) 修復 與 sqlalchemy 引擎 的 相容性 (#19508)
其他¶
重構 運算子 連結 以避免 建立 ad hoc TaskInstances (#21285)
6.3.0¶
功能¶
向 bigquery 資料 傳輸 服務 新增 可選 位置 (#15088) (#20221)新增 Google Cloud Tasks 操作指南 文件 (#20145)為 MSSQL 到 Google Cloud Storage (GCS) 新增 示例 DAG (#19873)支援 區域性 GKE 叢集 (#18966)在 KubernetesPodOperator 中 預設 刪除 pod (#20575)
缺陷修復¶
修復 PubSubCreateSubscriptionOperator 的 文件字串 (#20237)修復 Dataproc Metastore 缺少 get_backup 方法 (#20326)BigQueryHook 修復 run_load 文件 字串 中的 拼寫錯誤 (#19924)修復 在 sftp_to_gcs 上傳遞 gzip 壓縮 引數 的問題。 (#20553)在 CloudSQL provider 中 切換到 httpx.get 呼叫 中的 follow_redirects (#20239)避免 BigQuery 傳輸 運算子 中 的 棄用 警告 (#20502)將 download_video 引數 更改為 resourceName (#20528)修復 big query 到 mssql/mysql 傳輸 問題 (#20001)修復 在 ''provide_authorized_gcloud'' 中 設定 專案 ID 的問題 (#20428)
其他¶
將 source_objects 資料型別 檢查 移出 GCSToBigQueryOperator.__init__ (#20347)在 Amazon Provider 中 組織 S3 類 (#20167)提供者 facebook hook 多賬戶 (#19377)移除已棄用的方法呼叫 (blob.download_as_string) (#20091)從 GoogleDriveToGCSOperator 移除已棄用的 template_fields (#19991)
注意！ apache-airflow-providers-facebook 和 apache-airflow-providers-amazon 的可選功能需要更新版本的提供者（如依賴項中所指定）
6.2.0¶
新特性¶
為 DataprocJobSensor 新增等待機制，以避免在作業不可用時出現 509 錯誤 (#19740)在 GCP 連線中新增支援，以便從 Secret Manager 讀取金鑰 (#19164)新增 dataproc metastore 運算子 (#18945)為 GCloud Storage Transfer Service 運算子新增對 'path' 引數的支援 (#17446)將 Google Marketing Platform 運算子中的 'bucket_name' 驗證移出 '__init__' (#19383)建立 dataproc serverless spark batches 運算子 (#19248)更新 pipeline_timeout CloudDataFusionStartPipelineOperator (#18773)在 GKEStartPodOperator 中支援 impersonation_chain 引數 (#19518)
Bug 修復¶
修復 GKEPodOperator 中合併錯誤的模擬 (#19696)
6.1.0¶
新特性¶
為查詢的 'namespaceId' 新增值 (#19163)新增 pre-commit hook 以檢查檔案中的常見拼寫錯誤 (#18964)在 CassandraToGCSOperator 中支援查詢超時作為引數 (#18927)更新 BigQueryCreateExternalTableOperator 文件和引數 (#18676)替換 BigQueryToMsSqlOperator 的非屬性 template_fields (#19052)將 Dataproc 包升級到 3.0.0，並從 v1beta2 遷移到 v1 api (#18879)在子程序中執行 beam 命令時使用 google cloud 憑據 (#18992)替換 FacebookAdsReportToGcsOperator 的預設 api_version (#18996)Dataflow 運算子 - 在 on_kill 方法中使用作業中的專案和位置。 (#18699)
Bug 修復¶
修復 CloudSQL Hook 中硬編碼的 /tmp 目錄 (#19229)修復 Dataflow hook 中沒有返回作業時的錯誤 (#18981)修復 BigQueryToMsSqlOperator 文件 (#18995)將模板化輸入引數的驗證移動到上下文初始化之後執行 (#19048)Google provider 捕獲無效的 secret 名稱 (#18790)
6.0.0¶
重大變更¶
將 Google Cloud Build 從 Discovery API 遷移到 Python SDK (#18184)
新特性¶
將索引新增到資料集名稱，以便為每個示例 DAG 擁有單獨的資料集 (#18459)為某些測試包新增缺少的 __init__.py 檔案 (#18142)新增從系統測試執行 DAG 並檢視 DAG 日誌的可能性 (#17868)將 AzureDataLakeStorage 重新命名為 ADLS (#18493)使 next_dagrun_info 接受資料間隔 (#18088)使用 parameters 代替 params (#18143)新的 google 運算子: SQLToGoogleSheetsOperator (#17887)
Bug 修復¶
修復 Google 系統測試的一部分 (#18494)修復 kubernetes engine 系統測試 (#18548)修復 BigQuery 系統測試 (#18373)修復使用表資源建立外部表時出現的錯誤 (#17998)修復 ''BigQueryToMySqlOperator'' 中 ''BigQuery'' 資料提取 (#18073)使用 eager 升級修復 main 分支中的 providers 測試 (#18040)fix(CloudSqlProxyRunner): 不要從 Airflow DB 查詢連線 (#18006)刪除 GCSToBigquery 中至少一個 schema 的檢查 (#18150)在 BigQueryInsertJobOperator 上刪除重複的執行作業 (#17496)
5.1.0¶
新特性¶
在 GKEStartPodOperator 中為 config_file 引數新增錯誤檢查 (#17700)Gcp ai 超引數調整 (#17790)如果指定了 'node_pools'，則允許省略 'initial_node_count' (#17820)[Airflow 13779] 在 wait_for_pipeline_state hook 中使用提供的引數 (#17137)在 'template_fields_renderers' 中啟用指定字典路徑 (#17321)不要快取 Google Secret Manager 客戶端 (#17539)[AIRFLOW-9300] 新增 DatafusionPipelineStateSensor 和 aync 選項 到 CloudDataFusionStartPipelineOperator (#17787)
Bug 修復¶
GCP Secret Manager 處理 缺失 憑據的 錯誤 (#17264)
其他¶
最佳化 Airflow 2.2.0 的 連線 匯入新增 secrets 後端/日誌/身份驗證 資訊 到 provider yaml 中 (#17625)
5.0.0¶
重大變更¶
更新 GoogleAdsHook 以支援 較新的 API 版本， 在 google 棄用 v5 之後。 Google Ads v8 是 新的 預設 API。 (#17111)Google Ads Hook： 支援 google-ads 庫的 較新 版本 (#17160)
警告
底層 google-ads 庫有重大變更。
以前，google ads 庫將資料作為原生 protobuf 訊息返回。 現在它將資料作為 proto-plus 物件返回，這些物件更像傳統的 Python 物件。
為了保持相容性，hook 的 search() 將資料轉換回原生 protobuf 然後再返回。 您現有的運算子 *應該* 像以前一樣工作，但由於 v5 API 被棄用的緊迫性，因此沒有經過非常徹底的測試。 因此，您應該仔細評估此新版本的運算子和 hook 功能。
為了使用 API 的新 proto-plus 格式，您可以使用 search_proto_plus() 方法。
有關更多資訊，請參閱 google-ads 遷移文件
功能¶
將 dataproc 位置 引數 標準化為 區域 (#16034)新增 自定義 Salesforce 連線 型別 + SalesforceToS3Operator 更新 (#17162)
Bug 修復¶
更新 Google Memmcache 中 field_mask 的 別名 (#16975)fix: dataprocpysparkjob project_id 作為 self.project_id (#17075)修復 GCStoGCS 運算子， 其中 replace 停用， 並且存在 目標 物件 (#16991)
4.0.0¶
重大變更¶
自動應用 apply_default 裝飾器 (#15667)
警告
由於刪除了 apply_default 裝飾器，此 provider 版本需要 Airflow 2.1.0+。 如果您的 Airflow 版本 < 2.1.0，並且您想安裝此 provider 版本，請首先將 Airflow 升級到至少版本 2.1.0。 否則，您的 Airflow 包版本將自動升級，您必須手動執行 airflow upgrade db 才能完成遷移。
將 plyvel 移動到 google provider 額外 項 (#15812)修復 AzureFileShare 連線 額外 項 (#16388)
功能¶
為 google dataproc 新增 額外的 連結 (#10343)新增 oracle 連線 連結 (#15632)將 wait_for_done 引數 向下 傳遞給 _DataflowJobsController (#15541)僅在 GoogleAdsHook 中 使用 api 版本， 而不是 運算子 (#15266)實現 BigQuery 表 架構 更新 運算子 (#15367)新增 BigQueryToMsSqlOperator (#15422)
Bug 修復¶
修復： GCS To BigQuery source_object (#16160)修復： ``GCSToLocalFilesystemOperator 中 不必要的 下載(#16171)``修復 當 匯出 格式 為 parquet 時，bigquery 型別 錯誤 (#16027)修復 bucket 和 object 的 引數 排序 和 型別 (#15738)修復 sql_to_gcs docstring lint 錯誤 (#15730)fix: 確保 datetime 相關 值 完全 相容 MySQL 和 BigQuery (#15026)修復 google provider 中的 棄用 警告 位置 (#16403)
3.0.0¶
重大變更¶
AutoMLPredictOperator 中的更改¶
airflow.providers.google.cloud.operators.automl.AutoMLPredictOperator 類中的 params 引數已重新命名為 operation_params，因為它與 BaseOperator 類中的 param 引數衝突。
與 apache.beam provider 的整合¶
在 provider 的 3.0.0 版本中，我們更改了與 apache.beam provider 整合的方式。 當嘗試使用 PIP > 20.2.4 將兩個 provider 一起安裝時，之前的 provider 版本會導致衝突。 PIP 20.2.4 及以下版本未檢測到此衝突，但衝突確實存在，並且 Google BigQuery python 客戶端的版本在兩端不匹配。 因此，當同時安裝 apache.beam 和 google provider 時，BigQuery 運算子的某些功能可能無法正常工作。 這是由 apache-beam 客戶端尚未支援新的 google python 客戶端造成的，當使用 apache-beam[gcp] 額外項時。 Dataflow 運算子使用 apache-beam[gcp] 額外項，雖然它們可以使用較新版本的 Google BigQuery python 客戶端，但這不能保證。
此版本為 google provider 的 apache.beam 額外項引入了額外的額外需求，並且對稱地為 apache.beam provider 的 google 額外項引入了額外的需求。 google 和 apache.beam provider 預設情況下不使用這些額外項，但您可以在安裝 provider 時指定它們。 這樣做的後果是 Dataflow 運算子的某些功能可能不可用。
不幸的是，解決此問題的唯一 完整 解決方案是 apache.beam 遷移到新的 (>=2.0.0) Google Python 客戶端。
這是 google provider 的額外項
extras_require = (
{
# ...
"apache.beam": ["apache-airflow-providers-apache-beam", "apache-beam[gcp]"],
# ...
},
)
同樣，這是 apache.beam provider 的額外項
extras_require = ({"google": ["apache-airflow-providers-google", "apache-beam[gcp]"]},)
您仍然可以使用 PIP 版本 <= 20.2.4 執行此程式碼並返回到之前的行為
pip install apache-airflow-providers-google[apache.beam]
或
pip install apache-airflow-providers-apache-beam[google]
但請注意，在這種情況下，某些 BigQuery 運算子功能可能不可用。
功能¶
[Airflow-15245] - 將 自定義 映象 系列 名稱 傳遞給 DataProcClusterCreateoperator (#15250)
Bug 修復¶
Bugfix: 修復 ''GCSToLocalFilesystemOperator'' 中 ''object_name'' 的 呈現 (#15487)修復 DataprocCreateClusterOperator 中的 拼寫錯誤 (#15462)修復 leveldb hook 中錯誤 指定的 路徑 (#15453)
2.2.0¶
特性¶
新增 'Trino' 提供者 (測試時佔用 更少的 記憶體) (#15187)更新 operators 剩餘的 舊 匯入 路徑 (#15127)覆蓋 dataprocSubmitJobOperator 中的 project (#14981)帶有 標籤 和 描述 引數的 GCS 到 BigQuery 傳輸 Operator (#14881)新增 GCS 時間跨度 轉換 operator (#13996)向 bigquery 檢查 operators 新增 作業 標籤。 (#14685)在可用時使用 libyaml C 庫。 (#14577)新增 Google leveldb hook 和 operator (#13109) (#14105)
Bug 修復¶
Google Dataflow Hook 處理 沒有 Job 型別的情況 (#14914)
2.1.0¶
特性¶
修正 GCSHook.download 方法中 docstring 的引數 順序 (#14497)重構 SQL/BigQuery/Qubole/Druid 檢查 operators (#12677)新增 GoogleDriveToLocalOperator (#14191)新增 'exists_ok' 標誌到 BigQueryCreateEmptyTable(Dataset)Operator (#14026)新增 對 BigQuery 的 物化檢視 支援 (#14201)新增 BigQueryUpdateTableOperator (#14149)向 CloudDataTransferServiceOperator 新增 param (#14118)新增 gdrive_to_gcs operator, drive sensor, 以及 drive hook 的 附加功能 (#13982)改進 GCSToSFTPOperator 路徑 處理 (#11284)
Bug 修復¶
修復 dataproc operators 和 hook 的問題 (#14086)#9803 修復 沒有 萬用字元 的 複製 操作 中的 bug (#13919)
2.0.0¶
重大變更¶
更新了 google-cloud-* 庫¶
此提供者軟體包的版本包含第三方庫的更新，如果使用這些庫中的物件，可能需要更新 DAG 檔案或自定義 hook 和 operator。 更新這些庫是必要的，以便能夠使用新版本庫提供的新功能，並獲得僅適用於新版本庫的 bug 修復。
詳細資訊包含在每個庫的 UPDATING.md 檔案中，但有一些細節您應該注意。
庫名稱 |
之前的約束 |
當前的約束 |
升級文件 |
|---|---|---|---|
|
|
||
|
|
||
|
|
||
|
|
||
|
|
||
|
|
||
|
|
||
|
|
||
|
|
||
|
|
欄位名稱使用 snake_case 約定¶
如果您的 DAG 使用透過 XCom 傳遞的上述庫中的物件，則必須更新所讀取欄位的命名約定。 以前，這些欄位使用 CamelSnake 約定，現在使用 snake_case 約定。
之前
set_acl_permission = GCSBucketCreateAclEntryOperator(
task_id="gcs-set-acl-permission",
bucket=BUCKET_NAME,
entity="user-{{ task_instance.xcom_pull('get-instance')['persistenceIamIdentity'].split(':', 2)[1] }}",
role="OWNER",
)
之後
set_acl_permission = GCSBucketCreateAclEntryOperator(
task_id="gcs-set-acl-permission",
bucket=BUCKET_NAME,
entity="user-{{ task_instance.xcom_pull('get-instance')['persistence_iam_identity']"
".split(':', 2)[1] }}",
role="OWNER",
)
特性¶
新增 Apache Beam operators (#12814)新增 Google Cloud Workflows Operators (#13366)使用 'GCSHook' 時，將 'google_cloud_storage_conn_id' 替換為 'gcp_conn_id' (#13851)為 Dataflow 新增 操作指南 (#13461)將 MLEngineStartTrainingJobOperator 推廣到 自定義映象 (#13318)將 Parquet 資料 型別新增到 BaseSQLToGCSOperator (#13359)新增 DataprocCreateWorkflowTemplateOperator (#13338)新增 OracleToGCS 傳輸 (#13246)向 gcs hook 方法新增 超時 選項。 (#13156)向 dataproc 工作流 模板 operators 新增 區域 支援 (#12907)將 project_id 新增到 BigQuery hook update_table 方法內的 客戶端 (#13018)
Bug 修復¶
修復 StackdriverTaskHandler 中的 四個 bug (#13784)解碼 遠端 Google 日誌 (#13115)修復 並改進 GCP BigTable hook 和 系統 測試 (#13896)更新 Google DV360 Hook 以修復 SDF 問題 (#13703)修復 BigQueryHook 的 insert_all 方法以支援沒有 schema 的表 (#13138)修復 Google BigQueryHook 方法 get_schema() (#13136)修復 Data Catalog operators (#13096)
1.0.0¶
提供者的初始版本。