airflow.providers.amazon.aws.sensors.glue_crawler¶

類¶

GlueCrawlerSensor

等待 AWS Glue 爬蟲達到以下任一狀態。

模組內容¶

class airflow.providers.amazon.aws.sensors.glue_crawler.GlueCrawlerSensor(*, crawler_name, **kwargs)[source]¶

繼承自: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.glue_crawler.GlueCrawlerHook]

等待 AWS Glue 爬蟲達到以下任一狀態。

‘FAILED’, ‘CANCELLED’, ‘SUCCEEDED’

參見

有關如何使用此感測器的更多資訊，請參閱指南：等待 AWS Glue 爬蟲狀態

引數:

crawler_name (str) – AWS Glue 爬蟲的唯一名稱
aws_conn_id – 用於 AWS 憑據的 Airflow 連線。如果為 None 或空，則使用預設 boto3 行為。如果在分散式環境中執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設 boto3 配置（並且必須在每個工作節點上維護）。
region_name – AWS 區域名稱。如果未指定，則使用預設 boto3 行為。
verify – 是否驗證 SSL 證書。參見： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客戶端的配置字典（鍵值對）。參見： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

crawler_name[source]¶

success_statuses = 'SUCCEEDED'[source]¶

errored_statuses = ('FAILED', 'CANCELLED')[source]¶

poke(context)[source]¶

派生此類時覆蓋此方法。

本條目是否有幫助？