airflow.providers.amazon.aws.sensors.mwaa

MwaaDagRunSensor

等待 MWAA 環境中的 DAG Run 完成。

模組內容

class airflow.providers.amazon.aws.sensors.mwaa.MwaaDagRunSensor(*, external_env_name, external_dag_id, external_dag_run_id, success_states=None, failure_states=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poke_interval=60, max_retries=720, **kwargs)[source]

Bases: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.mwaa.MwaaHook]

等待 MWAA 環境中的 DAG Run 完成。

如果 DAG Run 失敗,則丟擲 AirflowException。

另請參閱

有關如何使用此 sensor 的更多資訊,請參閱指南:等待 AWS MWAA DAG Run 的狀態

引數:
  • external_env_name (str) – 包含您要等待的 DAG Run 的外部 MWAA 環境名稱 (templated)

  • external_dag_id (str) – 包含您要等待的 DAG Run 的外部 MWAA 環境中的 DAG ID (templated)

  • external_dag_run_id (str) – 您要等待的外部 MWAA 環境中的 DAG Run ID (templated)

  • success_states (collections.abc.Collection[str] | None) – 使得此任務標記為成功的 DAG Run 狀態集合,預設值為 {airflow.utils.state.DagRunState.SUCCESS} (templated)

  • failure_states (collections.abc.Collection[str] | None) – 使得此任務標記為失敗並丟擲 AirflowException 的 DAG Run 狀態集合,預設值為 {airflow.utils.state.DagRunState.FAILED} (templated)

  • deferrable (bool) – 如果為 True,sensor 將在可延遲模式下執行。此模式需要安裝 aiobotocore 模組。(預設值:False,但可以在配置檔案中透過設定 default_deferrable 為 True 來覆蓋)

  • poke_interval (int) – 檢查作業狀態的輪詢週期,單位為秒。(預設值:60)

  • max_retries (int) – 返回當前狀態之前重試的次數。(預設值:720)

  • aws_conn_id – 用於 AWS 憑證的 Airflow 連線。如果為 None 或空,則使用預設的 boto3 行為。如果以分散式方式執行 Airflow 且 aws_conn_id 為 None 或空,則將使用預設的 boto3 配置(並且必須在每個 worker 節點上維護)。

  • region_name – AWS region_name。如果未指定,則使用預設的 boto3 行為。

  • verify – 是否驗證 SSL 證書。參閱:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

  • botocore_config – botocore 客戶端的配置字典(鍵值對)。參閱:https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]
template_fields: collections.abc.Sequence[str][source]
success_states[source]
failure_states[source]
external_env_name[source]
external_dag_id[source]
external_dag_run_id[source]
deferrable = True[source]
poke_interval = 60[source]
max_retries = 720[source]
poke(context)[source]

派生此類時覆蓋。

execute_complete(context, event=None)[source]
execute(context)[source]

建立運算子時派生。

執行任務的主要方法。Context 與渲染 jinja 模板時使用的字典相同。

有關更多上下文,請參閱 get_template_context。

此條目有幫助嗎?