airflow.providers.amazon.aws.sensors.batch¶

類¶

`BatchSensor`	輪詢 Batch 作業的狀態，直到其達到終止狀態；如果作業失敗，則失敗。
`BatchComputeEnvironmentSensor`	輪詢 Batch 環境的狀態，直到其達到終止狀態；如果環境失敗，則失敗。
`BatchJobQueueSensor`	輪詢 Batch 作業佇列的狀態，直到其達到終止狀態；如果佇列失敗，則失敗。

模組內容¶

類 airflow.providers.amazon.aws.sensors.batch.BatchSensor(*, job_id, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poke_interval=30, max_retries=4200, **kwargs)[source]¶

基類: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.batch_client.BatchClientHook]

輪詢 Batch 作業的狀態，直到其達到終止狀態；如果作業失敗，則失敗。

另見

有關如何使用此 sensor 的更多資訊，請參閱指南：等待 AWS Batch 作業狀態

引數:

job_id (str) – 要檢查狀態的 Batch 作業 ID
aws_conn_id – 用於 AWS 憑證的 Airflow 連線。如果此引數為 None 或為空，則使用預設的 boto3 行為。如果在分散式模式下執行 Airflow 且 aws_conn_id 為 None 或為空，則將使用預設的 boto3 配置（且必須在每個 worker 節點上維護）。
region_name – AWS 區域名稱。如果未指定，則使用預設的 boto3 行為。
verify – 是否驗證 SSL 證書。參見： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
deferrable (bool) – 在 deferrable 模式下執行 sensor。
poke_interval (float) – 輪詢週期（秒），用於檢查作業狀態。
max_retries (int) – 在返回當前狀態之前輪詢作業狀態的次數。

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

template_ext: collections.abc.Sequence[str] = ()[source]¶

ui_color = '#66c3ff'[source]¶

job_id[source]¶

deferrable = True[source]¶

poke_interval = 30[source]¶

max_retries = 4200[source]¶

poke(context)[source]¶

在派生此類時重寫。

execute(context)[source]¶

建立運算元時派生。

執行任務的主要方法。Context 是與渲染 jinja 模板時相同的字典。

有關更多上下文，請參閱 get_template_context。

execute_complete(context, event)[source]¶

當觸發器觸發時執行 - 立即返回。

依賴觸發器丟擲異常，否則假定執行成功。

類 airflow.providers.amazon.aws.sensors.batch.BatchComputeEnvironmentSensor(compute_environment, **kwargs)[source]¶

基類: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.batch_client.BatchClientHook]

輪詢 Batch 環境的狀態，直到其達到終止狀態；如果環境失敗，則失敗。

另見

有關如何使用此 sensor 的更多資訊，請參閱指南：等待 AWS Batch 計算環境狀態

引數:

compute_environment (str) – Batch 計算環境名稱
aws_conn_id – 用於 AWS 憑證的 Airflow 連線。如果此引數為 None 或為空，則使用預設的 boto3 行為。如果在分散式模式下執行 Airflow 且 aws_conn_id 為 None 或為空，則將使用預設的 boto3 配置（且必須在每個 worker 節點上維護）。
region_name – AWS 區域名稱。如果未指定，則使用預設的 boto3 行為。
verify – 是否驗證 SSL 證書。參見： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

template_ext: collections.abc.Sequence[str] = ()[source]¶

ui_color = '#66c3ff'[source]¶

compute_environment[source]¶

poke(context)[source]¶

在派生此類時重寫。

類 airflow.providers.amazon.aws.sensors.batch.BatchJobQueueSensor(job_queue, treat_non_existing_as_deleted=False, **kwargs)[source]¶

基類: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.batch_client.BatchClientHook]

輪詢 Batch 作業佇列的狀態，直到其達到終止狀態；如果佇列失敗，則失敗。

另見

有關如何使用此 sensor 的更多資訊，請參閱指南：等待 AWS Batch 作業佇列狀態

引數:

job_queue (str) – Batch 作業佇列名稱
treat_non_existing_as_deleted (bool) – 如果為 True，則不存在的 Batch 作業佇列將被視為已刪除佇列，並作為有效情況處理。
aws_conn_id – 用於 AWS 憑證的 Airflow 連線。如果此引數為 None 或為空，則使用預設的 boto3 行為。如果在分散式模式下執行 Airflow 且 aws_conn_id 為 None 或為空，則將使用預設的 boto3 配置（且必須在每個 worker 節點上維護）。
region_name – AWS 區域名稱。如果未指定，則使用預設的 boto3 行為。
verify – 是否驗證 SSL 證書。參見： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

template_ext: collections.abc.Sequence[str] = ()[source]¶

ui_color = '#66c3ff'[source]¶

job_queue[source]¶

treat_non_existing_as_deleted = False[source]¶

poke(context)[source]¶

在派生此類時重寫。