airflow.providers.google.cloud.operators.dataprep¶

此模組包含一個 Google Dataprep 運算元。

類¶

`DataprepGetJobsForJobGroupOperator`	獲取 Cloud Dataprep 作業中的批處理作業資訊。
`DataprepGetJobGroupOperator`	獲取指定的作業組。
`DataprepRunJobGroupOperator`	建立一個 `jobGroup`，它以認證使用者的身份啟動指定的作業。
`DataprepCopyFlowOperator`	建立所提供流 ID 的副本，以及所有包含的資料處理指令碼。
`DataprepDeleteFlowOperator`	刪除具有指定 ID 的流。
`DataprepRunFlowOperator`	執行具有指定 ID 的流。

模組內容¶

class airflow.providers.google.cloud.operators.dataprep.DataprepGetJobsForJobGroupOperator(*, dataprep_conn_id='dataprep_default', job_group_id, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

獲取 Cloud Dataprep 作業中的批處理作業資訊。

API 文件: https://clouddataprep.com/documentation/api#section/Overview。

另請參閱

有關如何使用此運算元的更多資訊，請參閱指南：獲取作業組的作業

:param job_group_id 將要請求的作業組的 ID

template_fields: collections.abc.Sequence[str] = ('job_group_id',)[source]¶

dataprep_conn_id = 'dataprep_default'[source]¶

job_group_id[source]¶

execute(context)[source]¶

建立運算元時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

有關更多上下文資訊，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataprep.DataprepGetJobGroupOperator(*, dataprep_conn_id='dataprep_default', project_id=PROVIDE_PROJECT_ID, job_group_id, embed, include_deleted, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

獲取指定的作業組。

作業組是在流中從特定節點執行的作業。

API 文件: https://clouddataprep.com/documentation/api#section/Overview。

另請參閱

有關如何使用此運算元的更多資訊，請參閱指南：獲取作業組

引數:

job_group_id (int | str) – 將要請求的作業組的 ID
embed (str) – 作為響應一部分要獲取的逗號分隔物件列表
include_deleted (bool) – 如果設定為“true”，將包含已刪除的物件

template_fields: collections.abc.Sequence[str] = ('job_group_id', 'embed', 'project_id')[source]¶

operator_extra_links[source]¶

dataprep_conn_id: str = 'dataprep_default'[source]¶

project_id = None[source]¶

job_group_id[source]¶

embed[source]¶

include_deleted[source]¶

execute(context)[source]¶

建立運算元時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

有關更多上下文資訊，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataprep.DataprepRunJobGroupOperator(*, project_id=PROVIDE_PROJECT_ID, dataprep_conn_id='dataprep_default', body_request, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立一個 jobGroup，它以認證使用者的身份啟動指定的作業。

這執行的操作與在應用程式中點選“執行作業”按鈕相同。

要獲取 recipe_id，請參閱 Dataprep API 文件：https://clouddataprep.com/documentation/api#operation/runJobGroup。

另請參閱

有關如何使用此運算元的更多資訊，請參閱指南：執行作業組

引數:

dataprep_conn_id (str) – Dataprep 連線 ID
body_request (dict) – 作為 body_request 傳遞給 GoogleDataprepHook 的 run_job_group 方法，它標識要執行的資料處理指令碼。

template_fields: collections.abc.Sequence[str] = ('body_request',)[source]¶

operator_extra_links[source]¶

project_id = None[source]¶

dataprep_conn_id = 'dataprep_default'[source]¶

body_request[source]¶

execute(context)[source]¶

建立運算元時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

有關更多上下文資訊，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataprep.DataprepCopyFlowOperator(*, project_id=PROVIDE_PROJECT_ID, dataprep_conn_id='dataprep_default', flow_id, name='', description='', copy_datasources=False, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立所提供流 ID 的副本，以及所有包含的資料處理指令碼。

引數:

dataprep_conn_id (str) – Dataprep 連線 ID
flow_id (int | str) – 要複製的流的 ID
name (str) – 流副本的名稱
description (str) – 流副本的描述
copy_datasources (bool) – 用於定義是否應複製資料輸入的布林值。

template_fields: collections.abc.Sequence[str] = ('flow_id', 'name', 'project_id', 'description')[source]¶

operator_extra_links[source]¶

project_id = None[source]¶

dataprep_conn_id = 'dataprep_default'[source]¶

flow_id[source]¶

name = ''[source]¶

description = ''[source]¶

copy_datasources = False[source]¶

execute(context)[source]¶

建立運算元時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

有關更多上下文資訊，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataprep.DataprepDeleteFlowOperator(*, dataprep_conn_id='dataprep_default', flow_id, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除具有指定 ID 的流。

引數:

dataprep_conn_id (str) – Dataprep 連線 ID
flow_id (int | str) – 要複製的流的 ID

template_fields: collections.abc.Sequence[str] = ('flow_id',)[source]¶

dataprep_conn_id = 'dataprep_default'[source]¶

flow_id[source]¶

execute(context)[source]¶

建立運算元時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

有關更多上下文資訊，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataprep.DataprepRunFlowOperator(*, project_id=PROVIDE_PROJECT_ID, flow_id, body_request, dataprep_conn_id='dataprep_default', **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

執行具有指定 ID 的流。

引數:

dataprep_conn_id (str) – Dataprep 連線 ID
flow_id (int | str) – 要複製的流的 ID
body_request (dict) – 將要傳送的 POST 請求體。

template_fields: collections.abc.Sequence[str] = ('flow_id', 'project_id')[source]¶

operator_extra_links[source]¶

project_id = None[source]¶

flow_id[source]¶

body_request[source]¶

dataprep_conn_id = 'dataprep_default'[source]¶

execute(context)[source]¶

建立運算元時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

有關更多上下文資訊，請參閱 get_template_context。