airflow.providers.google.cloud.sensors.dataproc¶

此模組包含一個 Dataproc 作業 Sensor。

類¶

`DataprocJobSensor`	檢查先前提交的 Dataproc 作業的狀態。
`DataprocBatchSensor`	檢查批處理的狀態。

模組內容¶

類 airflow.providers.google.cloud.sensors.dataproc.DataprocJobSensor(*, dataproc_job_id, region, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', wait_timeout=None, **kwargs)[原始碼]¶

基類: airflow.sensors.base.BaseSensorOperator

檢查先前提交的 Dataproc 作業的狀態。

引數::

dataproc_job_id (str) – 要輪詢的 Dataproc 作業 ID。(templated)
region (str) – 必需。處理請求的 Cloud Dataproc 區域。(templated)
project_id (str) – 建立叢集的 Google Cloud 專案 ID。(templated)
gcp_conn_id (str) – 連線 Google Cloud Platform 時使用的連線 ID。
wait_timeout (int | None) – 等待作業就緒的秒數。

template_fields: collections.abc.Sequence[str] = ('project_id', 'region', 'dataproc_job_id')[原始碼]¶

ui_color = '#f0eee4'[原始碼]¶

project_id = None[原始碼]¶

gcp_conn_id = 'google_cloud_default'[原始碼]¶

dataproc_job_id[原始碼]¶

region[原始碼]¶

wait_timeout = None[原始碼]¶

start_sensor_time: float | None = None[原始碼]¶

execute(context)[原始碼]¶

建立 Operator 時派生此方法。

執行任務的主方法。Context 是渲染 Jinja 模板時使用的相同字典。

有關更多上下文資訊，請參閱 get_template_context。

poke(context)[原始碼]¶

派生此類時重寫此方法。

類 airflow.providers.google.cloud.sensors.dataproc.DataprocBatchSensor(*, batch_id, region, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', wait_timeout=None, **kwargs)[原始碼]¶