airflow.providers.google.cloud.hooks.bigquery_dts

此模組包含一個 BigQuery Hook。

類

BiqQueryDataTransferServiceHook

用於 Google Bigquery Transfer API 的 Hook。

AsyncBiqQueryDataTransferServiceHook

用於 BigQuery 服務，與 Google 庫的非同步客戶端一起使用的 Hook。

函式

get_object_id(obj)

返回物件的唯一 ID。

模組內容

airflow.providers.google.cloud.hooks.bigquery_dts.get_object_id(obj)[source]

返回物件的唯一 ID。

class airflow.providers.google.cloud.hooks.bigquery_dts.BiqQueryDataTransferServiceHook(gcp_conn_id='google_cloud_default', location=None, impersonation_chain=None, **kwargs)[source]

基類: airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用於 Google Bigquery Transfer API 的 Hook。

Hook 中所有使用 project_id 的方法都必須使用關鍵字引數呼叫，而不是位置引數。

location = None[source]
get_conn()[source]

檢索到 Google Bigquery 的連線。

返回:

Google Bigquery API 客戶端

返回型別:

google.cloud.bigquery_datatransfer_v1.DataTransferServiceClient

create_transfer_config(transfer_config, project_id=PROVIDE_PROJECT_ID, authorization_code=None, retry=DEFAULT, timeout=None, metadata=())[source]

建立一個新的資料傳輸配置。

引數:

  • transfer_config (dict | google.cloud.bigquery_datatransfer_v1.types.TransferConfig) – 要建立的資料傳輸配置。

  • project_id (str) – 應建立傳輸配置的 BigQuery 專案 ID。如果設定為 None 或缺失，則使用 Google Cloud 連線中的預設專案 ID。

  • authorization_code (str | None) – 與此傳輸配置一起使用的授權碼。如果需要新憑據，則此引數為必需。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的時間（秒）。請注意，如果指定了 retry，則 timeout 應用於每個單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的額外元資料。

返回:

一個 google.cloud.bigquery_datatransfer_v1.types.TransferConfig 例項。

返回型別:

google.cloud.bigquery_datatransfer_v1.types.TransferConfig

delete_transfer_config(transfer_config_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

刪除傳輸配置。

引數:

  • transfer_config_id (str) – 要使用的傳輸配置 ID。

  • project_id (str) – 應建立傳輸配置的 BigQuery 專案 ID。如果設定為 None 或缺失，則使用 Google Cloud 連線中的預設專案 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的時間（秒）。請注意，如果指定了 retry，則 timeout 應用於每個單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的額外元資料。

返回:

None

返回型別:

None

start_manual_transfer_runs(transfer_config_id, project_id=PROVIDE_PROJECT_ID, requested_time_range=None, requested_run_time=None, retry=DEFAULT, timeout=None, metadata=())[source]

啟動手動傳輸執行，立即執行，schedule_time 等於當前時間。

可以為一個時間範圍建立傳輸執行，其中 run_time 在 start_time（包含）和 end_time（不包含）之間，或為一個特定的 run_time。

引數:

  • transfer_config_id (str) – 要使用的傳輸配置 ID。

  • requested_time_range (dict | None) – 應啟動的傳輸執行的時間範圍。如果提供的是字典，其形式必須與 protobuf 訊息 ~google.cloud.bigquery_datatransfer_v1.types.TimeRange 相同

  • requested_run_time (dict | None) – 要啟動的傳輸執行的特定 run_time。`requested_run_time` 不能是將來時間。如果提供的是字典，其形式必須與 protobuf 訊息 ~google.cloud.bigquery_datatransfer_v1.types.Timestamp 相同

  • project_id (str) – 應建立傳輸配置的 BigQuery 專案 ID。如果設定為 None 或缺失，則使用 Google Cloud 連線中的預設專案 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的時間（秒）。請注意，如果指定了 retry，則 timeout 應用於每個單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的額外元資料。

返回:

一個 google.cloud.bigquery_datatransfer_v1.types.StartManualTransferRunsResponse 例項。

返回型別:

google.cloud.bigquery_datatransfer_v1.types.StartManualTransferRunsResponse

get_transfer_run(run_id, transfer_config_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

返回關於特定傳輸執行的資訊。

引數:

  • run_id (str) – 傳輸執行的 ID。

  • transfer_config_id (str) – 要使用的傳輸配置 ID。

  • project_id (str) – 應建立傳輸配置的 BigQuery 專案 ID。如果設定為 None 或缺失，則使用 Google Cloud 連線中的預設專案 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的時間（秒）。請注意，如果指定了 retry，則 timeout 應用於每個單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的額外元資料。

返回:

一個 google.cloud.bigquery_datatransfer_v1.types.TransferRun 例項。

返回型別:

google.cloud.bigquery_datatransfer_v1.types.TransferRun

class airflow.providers.google.cloud.hooks.bigquery_dts.AsyncBiqQueryDataTransferServiceHook(gcp_conn_id='google_cloud_default', location=None, impersonation_chain=None, **kwargs)[source]

基類: airflow.providers.google.common.hooks.base_google.GoogleBaseAsyncHook

用於 BigQuery 服務，與 Google 庫的非同步客戶端一起使用的 Hook。

sync_hook_class[source]
async get_transfer_run(config_id, run_id, project_id, location=None, retry=DEFAULT, timeout=None, metadata=())[source]

返回關於特定傳輸執行的資訊。

引數:

  • run_id (str) – 傳輸執行的 ID。

  • config_id (str) – 要使用的傳輸配置 ID。

  • project_id (str | None) – 應建立傳輸配置的 BigQuery 專案 ID。如果設定為 None 或缺失，則使用 Google Cloud 連線中的預設專案 ID。

  • location (str | None) – 用於區域傳輸的 BigQuery Transfer Service 位置。

  • retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的時間（秒）。請注意，如果指定了 retry，則 timeout 應用於每個單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的額外元資料。

返回:

一個 google.cloud.bigquery_datatransfer_v1.types.TransferRun 例項。

此條目有幫助嗎？