airflow.providers.amazon.aws.sensors.glue¶

類¶

`GlueJobSensor`	等待 AWS Glue Job 達到以下任何狀態。
`GlueDataQualityRuleSetEvaluationRunSensor`	等待 AWS Glue 資料質量規則集評估執行達到以下任何狀態。
`GlueDataQualityRuleRecommendationRunSensor`	等待 AWS Glue 資料質量規則推薦執行達到以下任何狀態。

模組內容¶

class airflow.providers.amazon.aws.sensors.glue.GlueJobSensor(*, job_name, run_id, verbose=False, aws_conn_id='aws_default', **kwargs)[source]¶

基類: airflow.sensors.base.BaseSensorOperator

等待 AWS Glue Job 達到以下任何狀態。

‘FAILED’, ‘STOPPED’, ‘SUCCEEDED’

另請參閱

有關如何使用此 sensor 的更多資訊，請參閱指南：等待 AWS Glue 作業狀態

引數:

job_name (str) – AWS Glue Job 的唯一名稱
run_id (str) – 當前執行的 AWS Glue 作業識別符號
verbose (bool) – 如果為 True，則會在 Airflow 任務日誌中顯示更多 Glue Job Run 日誌。（預設值: False）

template_fields: collections.abc.Sequence[str] = ('job_name', 'run_id')[source]¶

job_name[source]¶

run_id[source]¶

verbose = False[source]¶

aws_conn_id = 'aws_default'[source]¶

success_states: list[str] = ['SUCCEEDED'][source]¶

errored_states: list[str] = ['FAILED', 'STOPPED', 'TIMEOUT'][source]¶

next_log_tokens[source]¶

property hook[source]¶

poke(context)[source]¶

在派生此類時覆蓋。

class airflow.providers.amazon.aws.sensors.glue.GlueDataQualityRuleSetEvaluationRunSensor(*, evaluation_run_id, show_results=True, verify_result_status=True, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poke_interval=120, max_retries=60, aws_conn_id='aws_default', **kwargs)[source]¶

基類: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.glue.GlueDataQualityHook]

等待 AWS Glue 資料質量規則集評估執行達到以下任何狀態。

‘FAILED’, ‘STOPPED’, ‘STOPPING’, ‘TIMEOUT’, ‘SUCCEEDED’

另請參閱

有關如何使用此 sensor 的更多資訊，請參閱指南：等待 AWS Glue 資料質量評估執行

引數:

evaluation_run_id (str) – AWS Glue 資料質量規則集評估執行識別符號。
verify_result_status (bool) – 驗證所有規則集規則評估執行結果，如果任何規則狀態為 Fail 或 Error，則丟擲異常。（預設值: True）
show_results (bool) – 顯示所有規則集規則評估執行結果。（預設值: True）
deferrable (bool) – 如果為 True，sensor 將以可延遲模式執行。此模式需要安裝 aiobotocore 模組。（預設值: False，但可以透過在配置檔案中將 default_deferrable 設定為 True 來覆蓋）
poke_interval (int) – 輪詢週期（秒），用於檢查作業狀態。（預設值: 120）
max_retries (int) – 在返回當前狀態之前的重試次數。（預設值: 60）
aws_conn_id (str | None) – 用於 AWS 憑據的 Airflow 連線。如果為 None 或空，則使用預設的 boto3 行為。如果在分散式方式下執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（並且必須在每個工作節點上維護）。
region_name – AWS region_name。如果未指定，則使用預設的 boto3 行為。
verify – 是否驗證 SSL 證書。參見: https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客戶端的配置字典（鍵值對）。參見: https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

SUCCESS_STATES = ('SUCCEEDED',)[source]¶

FAILURE_STATES = ('FAILED', 'STOPPED', 'STOPPING', 'TIMEOUT')[source]¶

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

evaluation_run_id[source]¶

show_results = True[source]¶

verify_result_status = True[source]¶

aws_conn_id = 'aws_default'[source]¶

max_retries = 60[source]¶

poke_interval = 120[source]¶

deferrable = True[source]¶

execute(context)[source]¶

建立 operator 時派生。

執行任務的主要方法。Context 與渲染 jinja 模板時使用的字典相同。

更多 context 請參閱 get_template_context。

execute_complete(context, event=None)[source]¶

poke(context)[source]¶

在派生此類時覆蓋。

class airflow.providers.amazon.aws.sensors.glue.GlueDataQualityRuleRecommendationRunSensor(*, recommendation_run_id, show_results=True, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poke_interval=120, max_retries=60, aws_conn_id='aws_default', **kwargs)[source]¶

基類: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.glue.GlueDataQualityHook]

等待 AWS Glue 資料質量規則推薦執行達到以下任何狀態。

‘FAILED’, ‘STOPPED’, ‘STOPPING’, ‘TIMEOUT’, ‘SUCCEEDED’

另請參閱

有關如何使用此 sensor 的更多資訊，請參閱指南：等待 AWS Glue 資料質量推薦執行

引數:

recommendation_run_id (str) – AWS Glue 資料質量規則推薦執行識別符號。
show_results (bool) – 在推薦執行完成時顯示推薦的規則集（一組規則）。（預設值: True）
deferrable (bool) – 如果為 True，sensor 將以可延遲模式執行。此模式需要安裝 aiobotocore 模組。（預設值: False，但可以透過在配置檔案中將 default_deferrable 設定為 True 來覆蓋）
poke_interval (int) – 輪詢週期（秒），用於檢查作業狀態。（預設值: 120）
max_retries (int) – 在返回當前狀態之前的重試次數。（預設值: 60）
aws_conn_id (str | None) – 用於 AWS 憑據的 Airflow 連線。如果為 None 或空，則使用預設的 boto3 行為。如果在分散式方式下執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（並且必須在每個工作節點上維護）。
region_name – AWS region_name。如果未指定，則使用預設的 boto3 行為。
verify – 是否驗證 SSL 證書。參見: https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客戶端的配置字典（鍵值對）。參見: https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

SUCCESS_STATES = ('SUCCEEDED',)[source]¶

FAILURE_STATES = ('FAILED', 'STOPPED', 'STOPPING', 'TIMEOUT')[source]¶

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

recommendation_run_id[source]¶

show_results = True[source]¶

deferrable = True[source]¶

poke_interval = 120[source]¶

max_retries = 60[source]¶

aws_conn_id = 'aws_default'[source]¶

execute(context)[source]¶

建立 operator 時派生。

執行任務的主要方法。Context 與渲染 jinja 模板時使用的字典相同。

更多 context 請參閱 get_template_context。

execute_complete(context, event=None)[source]¶

poke(context)[source]¶

在派生此類時覆蓋。