airflow.providers.amazon.aws.sensors.comprehend¶

類¶

`ComprehendBaseSensor`	Amazon Comprehend 的通用感測器行為。
`ComprehendStartPiiEntitiesDetectionJobCompletedSensor`	輪詢 PII 實體檢測作業的狀態直到其達到完成狀態；如果作業失敗則任務失敗。
`ComprehendCreateDocumentClassifierCompletedSensor`	輪詢文件分類器狀態直到其達到完成狀態；如果作業失敗則任務失敗。

模組內容¶

class airflow.providers.amazon.aws.sensors.comprehend.ComprehendBaseSensor(deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]¶

基類: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.comprehend.ComprehendHook]

Amazon Comprehend 的通用感測器行為。

子類必須實現以下方法

get_state()

子類必須設定以下欄位

INTERMEDIATE_STATES
FAILURE_STATES
SUCCESS_STATES
FAILURE_MESSAGE

引數：: deferrable (bool) – 如果為 True，感測器將以可延遲模式執行。此模式需要安裝 aiobotocore 模組。（預設值：False，但可以透過在配置檔案中設定 default_deferrable 為 True 來覆蓋）

aws_hook_class[source]¶

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ()[source]¶

FAILURE_STATES: tuple[str, Ellipsis] = ()[source]¶

SUCCESS_STATES: tuple[str, Ellipsis] = ()[source]¶

FAILURE_MESSAGE = ''[source]¶

ui_color = '#66c3ff'[source]¶

deferrable = True[source]¶

poke(context, **kwargs)[source]¶

派生此類時覆蓋此方法。

abstract get_state()[source]¶

在子類中實現。

class airflow.providers.amazon.aws.sensors.comprehend.ComprehendStartPiiEntitiesDetectionJobCompletedSensor(*, job_id, max_retries=75, poke_interval=120, **kwargs)[source]¶

基類: ComprehendBaseSensor

輪詢 PII 實體檢測作業的狀態直到其達到完成狀態；如果作業失敗則任務失敗。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南：等待 Amazon Comprehend Start PII 實體檢測作業完成

引數：

job_id (str) – Comprehend PII 實體檢測作業的 ID。
deferrable – 如果為 True，感測器將以可延遲模式執行。此模式需要安裝 aiobotocore 模組。（預設值：False，但可以透過在配置檔案中設定 default_deferrable 為 True 來覆蓋）
poke_interval (int) – 輪詢作業狀態的週期（秒）。（預設值：120）
max_retries (int) – 在返回當前狀態之前嘗試的次數。（預設值：75）
aws_conn_id – 用於 AWS 憑證的 Airflow 連線。如果為 None 或為空，則使用預設的 boto3 行為。如果在分散式環境中執行 Airflow 且 aws_conn_id 為 None 或為空，則將使用預設的 boto3 配置（且必須在每個 worker 節點上維護）。
region_name – AWS 區域名稱。如果未指定，則使用預設的 boto3 行為。
verify – 是否驗證 SSL 證書。參閱：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客戶端的配置字典（鍵值對）。參閱：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('IN_PROGRESS',)[source]¶

FAILURE_STATES: tuple[str, Ellipsis] = ('FAILED', 'STOP_REQUESTED', 'STOPPED')[source]¶

SUCCESS_STATES: tuple[str, Ellipsis] = ('COMPLETED',)[source]¶

FAILURE_MESSAGE = 'Comprehend start pii entities detection job sensor failed.'[source]¶

template_fields: collections.abc.Sequence[str][source]¶

job_id[source]¶

max_retries = 75[source]¶

poke_interval = 120[source]¶

execute(context)[source]¶

派生運算子時重寫此方法。

執行任務的主要方法。上下文與渲染 jinja 模板時使用的字典相同。

有關更多上下文資訊，請參閱 get_template_context。

get_state()[source]¶

在子類中實現。

class airflow.providers.amazon.aws.sensors.comprehend.ComprehendCreateDocumentClassifierCompletedSensor(*, document_classifier_arn, fail_on_warnings=False, max_retries=75, poke_interval=120, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), aws_conn_id='aws_default', **kwargs)[source]¶