airflow.providers.google.cloud.operators.bigquery_dts¶

本模組包含 Google BigQuery Data Transfer Service 運算元。

類¶

`BigQueryCreateDataTransferOperator`	建立新的資料傳輸配置。
`BigQueryDeleteDataTransferConfigOperator`	刪除傳輸配置。
`BigQueryDataTransferServiceStartTransferRunsOperator`	啟動手動傳輸執行，在 schedule_time 等於當前時間時立即執行。

模組內容¶

class airflow.providers.google.cloud.operators.bigquery_dts.BigQueryCreateDataTransferOperator(*, transfer_config, project_id=PROVIDE_PROJECT_ID, location=None, authorization_code=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立新的資料傳輸配置。

另請參閱

有關如何使用此運算元的更多資訊，請參閱指南：建立傳輸配置

引數：

transfer_config (dict) – 要建立的資料傳輸配置。
project_id (str) – 要建立傳輸配置的 BigQuery 專案 ID。如果設定為 None 或缺失，則使用 Google Cloud 連線中的預設 project_id。
location (str | None) – 用於區域傳輸的 BigQuery Transfer Service 位置。
authorization_code (str | None) – 用於此傳輸配置的授權碼。如果需要新的憑據，則此引數是必需的。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定了 None，則不會重試請求。
timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則超時應用於每個單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id – 用於連線到 Google Cloud 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 用於使用短期憑據模擬的可選服務帳號，或獲取列表中最後一個帳號的 access_token 所需的帳號鏈，該帳號將在請求中被模擬。如果設定為字串，該帳號必須授予原始帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予 Service Account Token Creator IAM 角色給緊接的前一個身份，列表中的第一個帳號將此角色授予原始帳號（使用模板）。

template_fields: collections.abc.Sequence[str] = ('transfer_config', 'project_id', 'authorization_code', 'gcp_conn_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

transfer_config[source]¶

authorization_code = None[source]¶

project_id = None[source]¶

location = None[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算元時派生。

Context 與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.bigquery_dts.BigQueryDeleteDataTransferConfigOperator(*, transfer_config_id, project_id=PROVIDE_PROJECT_ID, location=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除傳輸配置。

另請參閱

有關如何使用此運算元的更多資訊，請參閱指南：刪除傳輸配置

引數：

transfer_config_id (str) – 要使用的傳輸配置 ID。
project_id (str) – 要建立傳輸配置的 BigQuery 專案 ID。如果設定為 None 或缺失，則使用 Google Cloud 連線中的預設 project_id。
location (str | None) – 用於區域傳輸的 BigQuery Transfer Service 位置。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定了 None，則不會重試請求。
timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則超時應用於每個單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id – 用於連線到 Google Cloud 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 用於使用短期憑據模擬的可選服務帳號，或獲取列表中最後一個帳號的 access_token 所需的帳號鏈，該帳號將在請求中被模擬。如果設定為字串，該帳號必須授予原始帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予 Service Account Token Creator IAM 角色給緊接的前一個身份，列表中的第一個帳號將此角色授予原始帳號（使用模板）。

template_fields: collections.abc.Sequence[str] = ('transfer_config_id', 'project_id', 'gcp_conn_id', 'impersonation_chain')[source]¶

project_id = None[source]¶

location = None[source]¶

transfer_config_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算元時派生。

Context 與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.bigquery_dts.BigQueryDataTransferServiceStartTransferRunsOperator(*, transfer_config_id, project_id=PROVIDE_PROJECT_ID, location=None, requested_time_range=None, requested_run_time=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

啟動手動傳輸執行，在 schedule_time 等於當前時間時立即執行。

可以為一個時間範圍（其中 run_time 在 start_time（包含）和 end_time（不包含）之間）建立傳輸執行，或為一個特定的 run_time 建立。

另請參閱

有關如何使用此運算元的更多資訊，請參閱指南：手動啟動傳輸執行

引數：

transfer_config_id (str) – 要使用的傳輸配置 ID。
requested_time_range (dict | None) – 應啟動的傳輸執行的時間範圍。如果提供了 dict，其形式必須與 protobuf 訊息 ~google.cloud.bigquery_datatransfer_v1.types.TimeRange 相同。
requested_run_time (dict | None) – 應啟動的傳輸執行的特定 run_time。requested_run_time 不能是未來時間。如果提供了 dict，其形式必須與 protobuf 訊息 ~google.cloud.bigquery_datatransfer_v1.types.Timestamp 相同。
project_id (str) – 應建立傳輸配置的 BigQuery 專案 ID。
location (str | None) – 用於區域傳輸的 BigQuery Transfer Service 位置。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定了 None，則不會重試請求。
timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則超時應用於每個單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id – 用於連線到 Google Cloud 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 用於使用短期憑據模擬的可選服務帳號，或獲取列表中最後一個帳號的 access_token 所需的帳號鏈，該帳號將在請求中被模擬。如果設定為字串，該帳號必須授予原始帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予 Service Account Token Creator IAM 角色給緊接的前一個身份，列表中的第一個帳號將此角色授予原始帳號（使用模板）。
deferrable (bool) – 在可延遲模式下執行運算元。

template_fields: collections.abc.Sequence[str] = ('transfer_config_id', 'project_id', 'requested_time_range', 'requested_run_time',...[source]¶

operator_extra_links[source]¶

project_id = None[source]¶

location = None[source]¶

transfer_config_id[source]¶

requested_time_range = None[source]¶

requested_run_time = None[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

deferrable = True[source]¶

property hook: airflow.providers.google.cloud.hooks.bigquery_dts.BiqQueryDataTransferServiceHook[source]¶

execute(context)[source]¶

在建立運算元時派生。

Context 與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

execute_completed(context, event)[source]¶

在 defer 方法中呼叫的 trigger 完成其任務後執行。

get_openlineage_facets_on_complete(_)[source]¶: 實現 _on_complete，因為我們需要執行配置來提取資訊。