airflow.providers.google.cloud.sensors.cloud_composer¶

此模組包含一個 Cloud Composer 感測器。

類¶

CloudComposerDAGRunSensor

檢查 DAG 執行是否已完成。

模組內容¶

class airflow.providers.google.cloud.sensors.cloud_composer.CloudComposerDAGRunSensor(*, project_id, region, environment_id, composer_dag_id, allowed_states=None, execution_range=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=10, **kwargs)[source]¶

基類: airflow.sensors.base.BaseSensorOperator

檢查 DAG 執行是否已完成。

引數:

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
region (str) – 必需。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – Composer 環境的名稱。
composer_dag_id (str) – 可執行 DAG 的 ID。
allowed_states (collections.abc.Iterable[str] | None) – 允許的狀態的可迭代物件，預設為 ['success']。
execution_range (datetime.timedelta | list[datetime.datetime] | None) – 執行 DAG 的時間範圍。感測器僅檢查在此時間範圍內啟動的 DAG 的狀態。對於昨天，使用 [正數!] datetime.timedelta(days=1)。對於未來，使用 [負數!] datetime.timedelta(days=-1)。對於特定時間，使用日期時間列表 [datetime(2024,3,22,11,0,0), datetime(2024,3,22,12,0,0)]。或 [datetime(2024,3,22,0,0,0)]，在這種情況下，感測器將檢查從過去的特定時間到當前執行時間的 DAG 狀態。預設值為 datetime.timedelta(days=1)。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務帳號，用於使用短期憑據進行模擬，或獲取列表中最後一個帳號的 access_token 所需的帳號鏈，最後一個帳號將在請求中被模擬。如果設定為字串，則該帳號必須授予原始帳號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中的第一個帳號將此角色授予原始帳號（模板化）。
poll_interval (int) – 可選：控制可延遲執行結果的輪詢速率。
deferrable (bool) – 以可延遲模式執行感測器。

template_fields = ('project_id', 'region', 'environment_id', 'composer_dag_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

environment_id[source]¶

composer_dag_id[source]¶

allowed_states[source]¶

execution_range = None[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

deferrable = True[source]¶

poll_interval = 10[source]¶

poke(context)[source]¶

在派生此類時覆蓋。

execute(context)[source]¶

建立運算子時派生。

執行任務的主要方法。Context 與渲染 jinja 模板時使用的字典相同。

請參閱 get_template_context 以獲取更多上下文。

execute_complete(context, event)[source]¶

property hook: airflow.providers.google.cloud.hooks.cloud_composer.CloudComposerHook[source]¶