airflow.providers.amazon.aws.sensors.kinesis_analytics¶

類¶

`KinesisAnalyticsV2BaseSensor`	適用於 AWS Managed Service for Apache Flink 的通用 Sensor 行為。
`KinesisAnalyticsV2StartApplicationCompletedSensor`	等待 AWS Managed Service for Apache Flink 應用程式啟動。
`KinesisAnalyticsV2StopApplicationCompletedSensor`	等待 AWS Managed Service for Apache Flink 應用程式停止。

模組內容¶

class airflow.providers.amazon.aws.sensors.kinesis_analytics.KinesisAnalyticsV2BaseSensor(application_name, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]¶

Bases: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.kinesis_analytics.KinesisAnalyticsV2Hook]

適用於 AWS Managed Service for Apache Flink 的通用 Sensor 行為。

子類必須設定以下欄位

INTERMEDIATE_STATES
FAILURE_STATES
SUCCESS_STATES
FAILURE_MESSAGE
SUCCESS_MESSAGE

引數::

application_name (str) – 應用程式名稱。
deferrable (bool) – 如果為 True，Sensor 將在可延遲模式下執行。此模式需要安裝 aiobotocore 模組。（預設值：False，但可以透過在配置檔案中設定 default_deferrable 為 True 來覆蓋）

aws_hook_class[source]¶

ui_color = '#66c3ff'[source]¶

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ()[source]¶

FAILURE_STATES: tuple[str, Ellipsis] = ()[source]¶

SUCCESS_STATES: tuple[str, Ellipsis] = ()[source]¶

FAILURE_MESSAGE = ''[source]¶

SUCCESS_MESSAGE = ''[source]¶

application_name[source]¶

deferrable = True[source]¶

poke(context, **kwargs)[source]¶

派生此類時覆蓋。

class airflow.providers.amazon.aws.sensors.kinesis_analytics.KinesisAnalyticsV2StartApplicationCompletedSensor(*, application_name, max_retries=75, poke_interval=120, **kwargs)[source]¶

Bases: KinesisAnalyticsV2BaseSensor

等待 AWS Managed Service for Apache Flink 應用程式啟動。

參閱

有關如何使用此 Sensor 的更多資訊，請參閱指南：等待 Amazon Managed Service for Apache Flink 應用程式啟動

引數::

application_name (str) – 應用程式名稱。
deferrable – 如果為 True，Sensor 將在可延遲模式下執行。此模式需要安裝 aiobotocore 模組。（預設值：False，但可以透過在配置檔案中設定 default_deferrable 為 True 來覆蓋）
poke_interval (int) – 輪詢間隔（秒），用於檢查作業狀態。（預設值：120）
max_retries (int) – 在返回當前狀態之前重試的次數。（預設值：75）
aws_conn_id – 用於 AWS 憑據的 Airflow 連線。如果為 None 或空，則使用預設的 boto3 行為。如果在分散式方式下執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（並且必須在每個 Worker 節點上維護）。
region_name – AWS region_name。如果未指定，則使用預設的 boto3 行為。
verify – 是否驗證 SSL 證書。參閱：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客戶端的配置字典（鍵值對）。參閱：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('STARTING', 'UPDATING', 'AUTOSCALING')[source]¶

FAILURE_STATES: tuple[str, Ellipsis] = ('DELETING', 'STOPPING', 'READY', 'FORCE_STOPPING', 'ROLLING_BACK', 'MAINTENANCE', 'ROLLED_BACK')[source]¶

SUCCESS_STATES: tuple[str, Ellipsis] = ('RUNNING',)[source]¶

FAILURE_MESSAGE = 'AWS Managed Service for Apache Flink application start failed.'[source]¶

SUCCESS_MESSAGE = 'AWS Managed Service for Apache Flink application started successfully'[source]¶

template_fields: collections.abc.Sequence[str][source]¶

application_name[source]¶

max_retries = 75[source]¶

poke_interval = 120[source]¶

execute(context)[source]¶

建立 Operator 時派生。

執行任務的主要方法。Context 與渲染 jinja 模板時使用的字典相同。

請參閱 get_template_context 以獲取更多 Context 資訊。

class airflow.providers.amazon.aws.sensors.kinesis_analytics.KinesisAnalyticsV2StopApplicationCompletedSensor(*, application_name, max_retries=75, poke_interval=120, **kwargs)[source]¶

Bases: KinesisAnalyticsV2BaseSensor

等待 AWS Managed Service for Apache Flink 應用程式停止。

參閱

有關如何使用此 Sensor 的更多資訊，請參閱指南：等待 Amazon Managed Service for Apache Flink 應用程式停止

引數::

application_name (str) – 應用程式名稱。
deferrable – 如果為 True，Sensor 將在可延遲模式下執行。此模式需要安裝 aiobotocore 模組。（預設值：False，但可以透過在配置檔案中設定 default_deferrable 為 True 來覆蓋）
poke_interval (int) – 輪詢間隔（秒），用於檢查作業狀態。（預設值：120）
max_retries (int) – 在返回當前狀態之前重試的次數。（預設值：75）
aws_conn_id – 用於 AWS 憑據的 Airflow 連線。如果為 None 或空，則使用預設的 boto3 行為。如果在分散式方式下執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（並且必須在每個 Worker 節點上維護）。
region_name – AWS region_name。如果未指定，則使用預設的 boto3 行為。
verify – 是否驗證 SSL 證書。參閱：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客戶端的配置字典（鍵值對）。參閱：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('STARTING', 'UPDATING', 'AUTOSCALING', 'RUNNING', 'STOPPING', 'FORCE_STOPPING')[source]¶

FAILURE_STATES: tuple[str, Ellipsis] = ('DELETING', 'ROLLING_BACK', 'MAINTENANCE', 'ROLLED_BACK')[source]¶

SUCCESS_STATES: tuple[str, Ellipsis] = ('READY',)[source]¶

FAILURE_MESSAGE = 'AWS Managed Service for Apache Flink application stop failed.'[source]¶

SUCCESS_MESSAGE = 'AWS Managed Service for Apache Flink application stopped successfully'[source]¶

template_fields: collections.abc.Sequence[str][source]¶

application_name[source]¶

max_retries = 75[source]¶

poke_interval = 120[source]¶

execute(context)[source]¶

建立 Operator 時派生。

執行任務的主要方法。Context 與渲染 jinja 模板時使用的字典相同。

請參閱 get_template_context 以獲取更多 Context 資訊。