airflow.providers.google.cloud.operators.dataform¶

類¶

`DataformCreateCompilationResultOperator`	在給定的專案和位置中建立一個新的 CompilationResult。
`DataformGetCompilationResultOperator`	獲取單個 CompilationResult。
`DataformCreateWorkflowInvocationOperator`	在給定的 Repository 中建立一個新的 WorkflowInvocation。
`DataformGetWorkflowInvocationOperator`	獲取單個 WorkflowInvocation。
`DataformQueryWorkflowInvocationActionsOperator`	在給定的 WorkflowInvocation 中返回 WorkflowInvocationActions。
`DataformCancelWorkflowInvocationOperator`	請求取消正在執行的 WorkflowInvocation。
`DataformCreateRepositoryOperator`	建立倉庫。
`DataformDeleteRepositoryOperator`	刪除倉庫。
`DataformCreateWorkspaceOperator`	建立工作區。
`DataformDeleteWorkspaceOperator`	刪除工作區。
`DataformWriteFileOperator`	將新檔案寫入指定的工作區。
`DataformMakeDirectoryOperator`	在指定的工作區中建立新目錄。
`DataformRemoveFileOperator`	在指定的工作區中移除檔案。
`DataformRemoveDirectoryOperator`	在指定的工作區中移除目錄。
`DataformInstallNpmPackagesOperator`	在提供的工作區中安裝 NPM 依賴項。

模組內容¶

class airflow.providers.google.cloud.operators.dataform.DataformCreateCompilationResultOperator(project_id, region, repository_id, compilation_result, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在給定的專案和位置中建立一個新的 CompilationResult。

引數:

project_id (str) – 必需。任務所屬的 Google Cloud 專案 ID。
region (str) – 必需。任務所屬的 Google Cloud 區域 ID。
repository_id (str) – 必需。任務所屬的 Dataform 倉庫 ID。
compilation_result (google.cloud.dataform_v1beta1.types.CompilationResult | dict) – 必需。要建立的編譯結果。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'compilation_result', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

compilation_result[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformGetCompilationResultOperator(project_id, region, repository_id, compilation_result_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

獲取單個 CompilationResult。

引數:

project_id (str) – 必需。任務所屬的 Google Cloud 專案 ID。
region (str) – 必需。任務所屬的 Google Cloud 區域 ID。
repository_id (str) – 必需。任務所屬的 Dataform 倉庫 ID。
compilation_result_id (str) – Dataform 編譯結果的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'compilation_result_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

compilation_result_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCreateWorkflowInvocationOperator(project_id, region, repository_id, workflow_invocation, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, asynchronous=False, wait_time=10, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在給定的 Repository 中建立一個新的 WorkflowInvocation。

引數:

project_id (str) – 必需。任務所屬的 Google Cloud 專案 ID。
region (str) – 必需。任務所屬的 Google Cloud 區域 ID。
repository_id (str) – 必需。任務所屬的 Dataform 倉庫 ID。
workflow_invocation (google.cloud.dataform_v1beta1.types.WorkflowInvocation | dict) – 必需。要建立的工作流呼叫資源。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (int | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。
asynchronous (bool) – 標誌，指示從 Dataform API 返回 workflow_invocation_id。這對於提交長時間執行的工作流並使用 DataformWorkflowInvocationStateSensor 非同步等待它們完成非常有用。
wait_time (int) – 兩次檢查之間的秒數。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workflow_invocation[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

asynchronous = False[source]¶

wait_time = 10[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformGetWorkflowInvocationOperator(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

獲取單個 WorkflowInvocation。

引數:

project_id (str) – 必需。任務所屬的 Google Cloud 專案 ID。
region (str) – 必需。任務所屬的 Google Cloud 區域 ID。
repository_id (str) – 必需。任務所屬的 Dataform 倉庫 ID。
workflow_invocation_id (str) – 工作流呼叫資源的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workflow_invocation_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformQueryWorkflowInvocationActionsOperator(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在給定的 WorkflowInvocation 中返回 WorkflowInvocationActions。

引數:

project_id (str) – 必需。任務所屬的 Google Cloud 專案 ID。
region (str) – 必需。任務所屬的 Google Cloud 區域 ID。
repository_id (str) – 必需。任務所屬的 Dataform 倉庫 ID。
workflow_invocation_id (str) – 工作流呼叫資源的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workflow_invocation_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCancelWorkflowInvocationOperator(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

請求取消正在執行的 WorkflowInvocation。

引數:

project_id (str) – 必需。任務所屬的 Google Cloud 專案 ID。
region (str) – 必需。任務所屬的 Google Cloud 區域 ID。
repository_id (str) – 必需。任務所屬的 Dataform 倉庫 ID。
workflow_invocation_id (str) – 工作流呼叫資源的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workflow_invocation_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCreateRepositoryOperator(project_id, region, repository_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立倉庫。

引數:

project_id (str) – 必需。任務所屬的 Google Cloud 專案 ID。
region (str) – 必需。任務所屬的 Google Cloud 區域 ID。
repository_id (str) – 必需。任務所屬的 Dataform 倉庫 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

operator_extra_links[source]¶

template_fields = ('project_id', 'region', 'repository_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformDeleteRepositoryOperator(project_id, region, repository_id, force=True, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除倉庫。

引數:

project_id (str) – 必需的。儲存庫所在的 Google Cloud 專案 ID。
region (str) – 必需的。儲存庫所在的 Google Cloud 區域 ID。
repository_id (str) – 必需的。應刪除的 Dataform 儲存庫 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'impersonation_chain')[source]¶

repository_id[source]¶

project_id[source]¶

region[source]¶

force = True[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCreateWorkspaceOperator(project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立工作區。

引數:

project_id (str) – 必填項。工作區應所在的 Google Cloud 專案的 ID。
region (str) – 必填項。工作區應所在的 Google Cloud 區域的名稱。
repository_id (str) – 必填項。工作區所屬的 Dataform 程式碼庫的 ID。
workspace_id (str) – 必填項。將要建立的新工作區的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

operator_extra_links[source]¶

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]¶

project_id[source]¶

workspace_id[source]¶

repository_id[source]¶

region[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformDeleteWorkspaceOperator(project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除工作區。

引數:

project_id (str) – 必填項。工作區所在的 Google Cloud 專案的 ID。
region (str) – 必填項。工作區所在的 Google Cloud 區域的 ID。
repository_id (str) – 必填項。工作區所在的 Dataform 程式碼庫的 ID。
workspace_id (str) – 必填項。應被刪除的 Dataform 工作區的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workspace_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformWriteFileOperator(project_id, region, repository_id, workspace_id, filepath, contents, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

將新檔案寫入指定的工作區。

引數:

project_id (str) – 必填項。工作區所在的 Google Cloud 專案的 ID。
region (str) – 必填項。工作區所在的 Google Cloud 區域的 ID。
repository_id (str) – 必填項。工作區所在的 Dataform 程式碼庫的 ID。
workspace_id (str) – 必填項。應建立檔案的 Dataform 工作區的 ID。
filepath (str) – 必填項。相對於工作區根目錄的檔案路徑，包括檔名。
contents (bytes) – 必填項。要寫入的檔案內容。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workspace_id[source]¶

filepath[source]¶

contents[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformMakeDirectoryOperator(project_id, region, repository_id, workspace_id, directory_path, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在指定的工作區中建立新目錄。

引數:

project_id (str) – 必填項。工作區所在的 Google Cloud 專案的 ID。
region (str) – 必填項。工作區所在的 Google Cloud 區域的 ID。
repository_id (str) – 必填項。工作區所在的 Dataform 程式碼庫的 ID。
workspace_id (str) – 必填項。應建立目錄的 Dataform 工作區的 ID。
path – 必填項。目錄的完整路徑（包括目錄名），相對於工作區根目錄。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workspace_id[source]¶

directory_path[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformRemoveFileOperator(project_id, region, repository_id, workspace_id, filepath, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在指定的工作區中移除檔案。

引數:

project_id (str) – 必填項。工作區所在的 Google Cloud 專案的 ID。
region (str) – 必填項。工作區所在的 Google Cloud 區域的 ID。
repository_id (str) – 必填項。工作區所在的 Dataform 程式碼庫的 ID。
workspace_id (str) – 必填項。目錄所在的 Dataform 工作區的 ID。
filepath (str) – 必填項。檔案的完整路徑（包括檔名），相對於工作區根目錄。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workspace_id[source]¶

filepath[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformRemoveDirectoryOperator(project_id, region, repository_id, workspace_id, directory_path, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在指定的工作區中移除目錄。

引數:

project_id (str) – 必填項。工作區所在的 Google Cloud 專案的 ID。
region (str) – 必填項。工作區所在的 Google Cloud 區域的 ID。
repository_id (str) – 必填項。工作區所在的 Dataform 程式碼庫的 ID。
workspace_id (str) – 必填項。目錄所在的 Dataform 工作區的 ID。
path – 必填項。目錄的完整路徑（包括目錄名），相對於工作區根目錄。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workspace_id[source]¶

directory_path[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立 operator 時派生。

上下文是與渲染 jinja 模板時使用的相同的字典。

有關更多上下文，請參閱 get_template_context。

類 airflow.providers.google.cloud.operators.dataform.DataformInstallNpmPackagesOperator(project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在提供的工作區中安裝 NPM 依賴項。

要求在工作區中建立“package.json”檔案。

引數:

project_id (str) – 必填項。工作區所在的 Google Cloud 專案的 ID。
region (str) – 必填項。工作區所在的 Google Cloud 區域的 ID。
repository_id (str) – 必填項。工作區所在的 Dataform 程式碼庫的 ID。
workspace_id (str) – 必需。Dataform工作區的ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）錯誤應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求作為元資料傳送的字串。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。要使用短期憑據模擬的服務帳號，或獲取列表中最後一個帳號（將在請求中模擬）的 access_token 所需的帳號連結串列。如果設定為字串，該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須將其 Service Account Token Creator IAM 角色授予緊鄰的前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。