airflow.providers.google.cloud.sensors.bigquery_dts

此模組包含一個 Google BigQuery 資料傳輸服務感測器。

BigQueryDataTransferServiceTransferRunSensor

等待資料傳輸服務執行完成。

模組內容

class airflow.providers.google.cloud.sensors.bigquery_dts.BigQueryDataTransferServiceTransferRunSensor(*, run_id, transfer_config_id, expected_statuses=TransferState.SUCCEEDED, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', retry=DEFAULT, request_timeout=None, metadata=(), location=None, impersonation_chain=None, **kwargs)[原始碼]

基類: airflow.sensors.base.BaseSensorOperator

等待資料傳輸服務執行完成。

另請參閱

有關如何使用此感測器的更多資訊,請參閱指南:手動啟動傳輸執行

引數:
  • expected_statuses (set[str | google.cloud.bigquery_datatransfer_v1.TransferState | int] | str | google.cloud.bigquery_datatransfer_v1.TransferState | int) – 操作的預期狀態。參閱: https://cloud.google.com/storage-transfer/docs/reference/rest/v1/transferOperations#Status

  • run_id (str) – 傳輸執行的 ID。

  • transfer_config_id (str) – 要使用的傳輸配置的 ID。

  • project_id (str) – 應建立傳輸配置的 BigQuery 專案 ID。如果設定為 None 或缺失,則使用 Google Cloud 連線的預設 project_id。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None,則不會重試請求。

  • request_timeout (float | None) – 等待請求完成的超時時間(秒)。請注意,如果指定了重試,則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號,用於使用短期憑據進行模擬,或用於獲取列表中最後一個賬號的 access_token 的賬號鏈列表,該賬號將在請求中被模擬。如果設定為字串,則該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列,則列表中身份必須授予 Service Account Token Creator IAM 角色給直接前一個身份,列表中第一個賬號授予此角色給發起賬號(模板化)。

返回:

一個 google.cloud.bigquery_datatransfer_v1.types.TransferRun 例項。

template_fields: collections.abc.Sequence[str] = ('run_id', 'transfer_config_id', 'expected_statuses', 'project_id', 'impersonation_chain')[原始碼]
run_id[原始碼]
transfer_config_id[原始碼]
retry[原始碼]
request_timeout = None[原始碼]
metadata = ()[原始碼]
expected_statuses[原始碼]
project_id = None[原始碼]
gcp_cloud_conn_id = 'google_cloud_default'[原始碼]
impersonation_chain = None[原始碼]
location = None[原始碼]
poke(context)[原始碼]

在派生此類時覆蓋。

此條目是否有幫助?