airflow.providers.google.cloud.sensors.bigquery¶

此模組包含 Google BigQuery 感測器。

類¶

`BigQueryTableExistenceSensor`	檢查 Google Bigquery 中是否存在某個表。
`BigQueryTablePartitionExistenceSensor`	檢查 Google Bigquery 中某個表內是否存在某個分割槽。

模組內容¶

class airflow.providers.google.cloud.sensors.bigquery.BigQueryTableExistenceSensor(*, project_id, dataset_id, table_id, gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]¶

基類: airflow.sensors.base.BaseSensorOperator

檢查 Google Bigquery 中是否存在某個表。

引數:

project_id (str) – 要查詢表的 Google 雲專案。提供給 hook 的連線必須能訪問指定的專案。
dataset_id (str) – 要查詢表的資料集名稱。儲存桶。
table_id (str) – 要檢查其存在性的表的名稱。
gcp_conn_id (str) – (可選) 用於連線到 Google Cloud 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據模擬身份，或按順序連結的賬號列表，需要這些賬號來獲取列表中最後一個賬號的 access_token，該賬號將在請求中被模擬身份。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予 Service Account Token Creator IAM 角色給直接前一個身份，列表中第一個賬號將此角色授予發起賬號 (可模板化)。

template_fields: collections.abc.Sequence[str] = ('project_id', 'dataset_id', 'table_id', 'impersonation_chain')[source]¶

ui_color = '#f0eee4'[source]¶

project_id[source]¶

dataset_id[source]¶

table_id[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

deferrable = True[source]¶

poke(context)[source]¶

繼承此類時覆蓋此方法。

execute(context)[source]¶

Airflow 在 worker 上執行此方法，並使用 trigger 進行延遲。

execute_complete(context, event=None)[source]¶

當 trigger 觸發時作為回撥函式 - 立即返回。

依賴 trigger 丟擲異常，否則假定執行成功。

class airflow.providers.google.cloud.sensors.bigquery.BigQueryTablePartitionExistenceSensor(*, project_id, dataset_id, table_id, partition_id, gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]¶