airflow.providers.google.cloud.operators.dataplex¶

此模組包含 Google Dataplex 運算子。

類¶

`DataplexCreateTaskOperator`	在 lake 中建立一個 task 資源。
`DataplexDeleteTaskOperator`	刪除 task 資源。
`DataplexListTasksOperator`	列出指定 lake 下的 tasks。
`DataplexGetTaskOperator`	獲取 task 資源。
`DataplexCreateLakeOperator`	在 lake 中建立一個 lake 資源。
`DataplexDeleteLakeOperator`	刪除 lake 資源。
`DataplexCreateOrUpdateDataQualityScanOperator`	建立一個 DataScan 資源。
`DataplexGetDataQualityScanOperator`	獲取 DataScan 資源。
`DataplexDeleteDataQualityScanOperator`	刪除 DataScan 資源。
`DataplexRunDataQualityScanOperator`	執行 DataScan 的按需執行。
`DataplexGetDataQualityScanResultOperator`	獲取 Data Scan Job 資源。
`DataplexCreateOrUpdateDataProfileScanOperator`	建立一個 DataScan Data Profile 資源。
`DataplexGetDataProfileScanOperator`	獲取 DataScan DataProfile 資源。
`DataplexDeleteDataProfileScanOperator`	刪除 DataScan DataProfile 資源。
`DataplexRunDataProfileScanOperator`	執行 DataScan Data Profile Scan 的按需執行。
`DataplexGetDataProfileScanResultOperator`	獲取 DataScan Data Profile Job 資源。
`DataplexCreateZoneOperator`	在 Lake 中建立一個 Zone 資源。
`DataplexDeleteZoneOperator`	刪除 Zone 資源。必須先刪除 Zone 內的所有 assets，然後才能刪除 Zone。
`DataplexCreateAssetOperator`	建立一個 Asset 資源。
`DataplexDeleteAssetOperator`	刪除 asset 資源。
`DataplexCatalogBaseOperator`	所有 Dataplex Catalog 運算子的基類。
`DataplexCatalogCreateEntryGroupOperator`	建立一個 EntryGroup 資源。
`DataplexCatalogGetEntryGroupOperator`	獲取 EntryGroup 資源。
`DataplexCatalogDeleteEntryGroupOperator`	刪除 EntryGroup 資源。
`DataplexCatalogListEntryGroupsOperator`	列出 EntryGroup 資源。
`DataplexCatalogUpdateEntryGroupOperator`	更新 EntryGroup 資源。
`DataplexCatalogCreateEntryTypeOperator`	建立一個 EntryType 資源。
`DataplexCatalogGetEntryTypeOperator`	獲取 EntryType 資源。
`DataplexCatalogDeleteEntryTypeOperator`	刪除 EntryType 資源。
`DataplexCatalogListEntryTypesOperator`	列出 EntryType 資源。
`DataplexCatalogUpdateEntryTypeOperator`	更新 EntryType 資源。
`DataplexCatalogCreateAspectTypeOperator`	建立一個 AspectType 資源。
`DataplexCatalogGetAspectTypeOperator`	獲取 AspectType 資源。
`DataplexCatalogListAspectTypesOperator`	列出 AspectType 資源。
`DataplexCatalogUpdateAspectTypeOperator`	更新 AspectType 資源。
`DataplexCatalogDeleteAspectTypeOperator`	刪除 AspectType 資源。
`DataplexCatalogCreateEntryOperator`	建立一個 Entry 資源。
`DataplexCatalogGetEntryOperator`	獲取 Entry 資源。
`DataplexCatalogListEntriesOperator`	列出 Entry 資源。
`DataplexCatalogSearchEntriesOperator`	根據指定的查詢和範圍搜尋 Entries。
`DataplexCatalogLookupEntryOperator`	使用源系統上的許可權按名稱查詢單個 Entry。
`DataplexCatalogUpdateEntryOperator`	更新 Entry 資源。
`DataplexCatalogDeleteEntryOperator`	刪除 Entry 資源。

模組內容¶

class airflow.providers.google.cloud.operators.dataplex.DataplexCreateTaskOperator(project_id, region, lake_id, body, dataplex_task_id, validate_only=None, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, asynchronous=False, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在 lake 中建立一個 task 資源。

引數:

project_id (str) – 必需。Task 所屬的 Google Cloud 專案的 ID。
region (str) – 必需。Task 所屬的 Google Cloud 區域的 ID。
lake_id (str) – 必需。Task 所屬的 Google Cloud lake 的 ID。
body (dict[str, Any]) – 必需。請求體包含 Task 的一個例項。
dataplex_task_id (str) – 必需。Task 識別符號。
validate_only (bool | None) – 可選。僅驗證請求，但不執行更改。預設為 false。
api_version (str) – 將請求的 API 版本，例如 'v3'。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。
asynchronous (bool) – 指示是否應非同步建立 Dataplex task 的標誌。這對於長時間執行的建立 tasks 並使用 DataplexTaskSensor 非同步等待它們非常有用。

template_fields = ('project_id', 'dataplex_task_id', 'body', 'validate_only', 'impersonation_chain')[source]¶

template_fields_renderers[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

lake_id[source]¶

body[source]¶

dataplex_task_id[source]¶

validate_only = None[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

asynchronous = False[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexDeleteTaskOperator(project_id, region, lake_id, dataplex_task_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除 task 資源。

引數:

project_id (str) – 必需。Task 所屬的 Google Cloud 專案的 ID。
region (str) – 必需。Task 所屬的 Google Cloud 區域的 ID。
lake_id (str) – 必需。Task 所屬的 Google Cloud lake 的 ID。
dataplex_task_id (str) – 必需。Task 識別符號。
api_version (str) – 將請求的 API 版本，例如 'v3'。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

template_fields = ('project_id', 'dataplex_task_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

lake_id[source]¶

dataplex_task_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexListTasksOperator(project_id, region, lake_id, page_size=None, page_token=None, filter=None, order_by=None, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出指定 lake 下的 tasks。

引數:

project_id (str) – 必需。Task 所屬的 Google Cloud 專案的 ID。
region (str) – 必需。Task 所屬的 Google Cloud 區域的 ID。
lake_id (str) – 必需。Task 所屬的 Google Cloud lake 的 ID。
page_size (int | None) – 可選。要返回的最大 tasks 數量。服務返回的數量可能少於此值。如果未指定，則最多返回 10 個 tasks。最大值為 1000；超過 1000 的值將被強制設定為 1000。
page_token (str | None) – 可選。從之前的 ListZones 呼叫接收到的頁面令牌。提供此令牌可檢索後續頁面。分頁時，提供給 ListZones 的所有其他引數必須與提供頁面令牌的呼叫相匹配。
filter (str | None) – 可選。過濾請求。
order_by (str | None) – 可選。結果的排序欄位。
api_version (str) – 將請求的 API 版本，例如 'v3'。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

template_fields = ('project_id', 'page_size', 'page_token', 'filter', 'order_by', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

lake_id[source]¶

page_size = None[source]¶

page_token = None[source]¶

filter = None[source]¶

order_by = None[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexGetTaskOperator(project_id, region, lake_id, dataplex_task_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

獲取 task 資源。

引數:

project_id (str) – 必需。Task 所屬的 Google Cloud 專案的 ID。
region (str) – 必需。Task 所屬的 Google Cloud 區域的 ID。
lake_id (str) – 必需。Task 所屬的 Google Cloud lake 的 ID。
dataplex_task_id (str) – 必需。Task 識別符號。
api_version (str) – 將請求的 API 版本，例如 'v3'。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

template_fields = ('project_id', 'dataplex_task_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

lake_id[source]¶

dataplex_task_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCreateLakeOperator(project_id, region, lake_id, body, validate_only=None, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, asynchronous=False, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在 lake 中建立一個 lake 資源。

引數:

project_id (str) – 必需。Lake 所屬的 Google Cloud 專案 ID。
region (str) – 必需。Lake 所屬的 Google Cloud 區域 ID。
lake_id (str) – 必需。Lake 識別符號。
body (dict[str, Any]) – 必需。請求正文包含 Lake 的例項。
validate_only (bool | None) – 可選。僅驗證請求，但不執行更改。預設為 false。
api_version (str) – 將要請求的 API 版本，例如 ‘v1’。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。
asynchronous (bool) – 指示 Dataplex lake 是否應非同步建立的標誌。這對於長時間執行的 lake 建立非常有用。

template_fields = ('project_id', 'lake_id', 'body', 'validate_only', 'impersonation_chain')[source]¶

template_fields_renderers[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

lake_id[source]¶

body[source]¶

validate_only = None[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

asynchronous = False[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexDeleteLakeOperator(project_id, region, lake_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除 lake 資源。

引數:

project_id (str) – 必需。Lake 所屬的 Google Cloud 專案 ID。
region (str) – 必需。Lake 所屬的 Google Cloud 區域 ID。
lake_id (str) – 必需。Lake 識別符號。
api_version (str) – 將要請求的 API 版本，例如 ‘v1’。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

template_fields = ('project_id', 'lake_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

lake_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCreateOrUpdateDataQualityScanOperator(project_id, region, data_scan_id, body, api_version='v1', retry=DEFAULT, timeout=None, update_mask=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立一個 DataScan 資源。

引數:

project_id (str) – 必需。Lake 所屬的 Google Cloud 專案 ID。
region (str) – 必需。Lake 所屬的 Google Cloud 區域 ID。
body (dict[str, Any] | google.cloud.dataplex_v1.types.DataScan) – 必需。請求正文包含 DataScan 的例項。
data_scan_id (str) – 必需。資料質量掃描識別符號。
update_mask (dict | google.protobuf.field_mask_pb2.FieldMask | None) – 要更新的欄位掩碼。
api_version (str) – 將要請求的 API 版本，例如 ‘v1’。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

返回:

Dataplex 資料掃描 ID

template_fields = ('project_id', 'data_scan_id', 'body', 'impersonation_chain')[source]¶

template_fields_renderers[source]¶

project_id[source]¶

region[source]¶

data_scan_id[source]¶

body[source]¶

update_mask = None[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexGetDataQualityScanOperator(project_id, region, data_scan_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

獲取 DataScan 資源。

引數:

project_id (str) – 必需。Lake 所屬的 Google Cloud 專案 ID。
region (str) – 必需。Lake 所屬的 Google Cloud 區域 ID。
data_scan_id (str) – 必需。資料質量掃描識別符號。
api_version (str) – 將要請求的 API 版本，例如 ‘v1’。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

返回:

Dataplex 資料掃描

template_fields = ('project_id', 'data_scan_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

data_scan_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexDeleteDataQualityScanOperator(project_id, region, data_scan_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除 DataScan 資源。

引數:

project_id (str) – 必需。Lake 所屬的 Google Cloud 專案 ID。
region (str) – 必需。Lake 所屬的 Google Cloud 區域 ID。
data_scan_id (str) – 必需。資料質量掃描識別符號。
api_version (str) – 將要請求的 API 版本，例如 ‘v1’。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

返回:

無

template_fields = ('project_id', 'data_scan_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

data_scan_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexRunDataQualityScanOperator(project_id, region, data_scan_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, asynchronous=False, fail_on_dq_failure=False, result_timeout=60.0 * 10, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), polling_interval_seconds=10, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

執行 DataScan 的按需執行。

引數:

project_id (str) – 必需。Lake 所屬的 Google Cloud 專案 ID。
region (str) – 必需。Lake 所屬的 Google Cloud 區域 ID。
data_scan_id (str) – 必需。資料質量掃描識別符號。
api_version (str) – 將要請求的 API 版本，例如 ‘v1’。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。
asynchronous (bool) – 指示 Dataplex 作業應以非同步方式執行的標誌。這對於提交長時間執行的作業並使用 DataplexDataQualityJobStatusSensor 非同步等待它們非常有用。
fail_on_dq_failure (bool) – 如果設定為 true 且並非所有資料質量掃描規則都已透過，則會丟擲異常。如果設定為 false 且並非所有資料質量掃描規則都已透過，則執行將成功完成。
result_timeout (float) – 當標誌 asynchronous = False 時，運算子將等待資料質量掃描結果的秒數。如果在指定的秒數後未找到結果，則丟擲異常。
polling_interval_seconds (int) – 輪詢作業完成之間的秒數。該值僅在可推遲模式下執行時考慮。必須大於 0。
deferrable (bool) – 在可推遲模式下執行運算子。

返回:

Dataplex 資料質量掃描作業 ID。

template_fields = ('project_id', 'data_scan_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

data_scan_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

asynchronous = False[source]¶

fail_on_dq_failure = False[source]¶

result_timeout = 600.0[source]¶

deferrable = True[source]¶

polling_interval_seconds = 10[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

execute_complete(context, event=None)[source]¶

當觸發器觸發時作為回撥 - 立即返回。

依賴觸發器丟擲異常，否則假定執行成功。

class airflow.providers.google.cloud.operators.dataplex.DataplexGetDataQualityScanResultOperator(project_id, region, data_scan_id, job_id=None, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, fail_on_dq_failure=False, wait_for_results=True, result_timeout=60.0 * 10, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), polling_interval_seconds=10, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

獲取 Data Scan Job 資源。

引數:

project_id (str) – 必需。Lake 所屬的 Google Cloud 專案 ID。
region (str) – 必需。Lake 所屬的 Google Cloud 區域 ID。
data_scan_id (str) – 必需。資料質量掃描識別符號。
job_id (str | None) – 可選。資料質量掃描作業識別符號。
api_version (str) – 將要請求的 API 版本，例如 ‘v1’。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，單位為秒。請注意，如果指定了 retry，則超時應用於每次單獨嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。
fail_on_dq_failure (bool) – 如果設定為 true 且並非所有資料質量掃描規則都已透過，則會丟擲異常。如果設定為 false 且並非所有資料質量掃描規則都已透過，則執行將成功完成。
wait_for_results (bool) – 指示是等待作業執行結果還是返回作業當前狀態的標誌。
result_timeout (float) – 當標誌 wait_for_results = True 時，運算子將等待資料質量掃描結果的秒數。如果在指定的秒數後未找到結果，則丟擲異常。
polling_interval_seconds (int) – 輪詢作業完成之間的秒數。該值僅在可推遲模式下執行時考慮。必須大於 0。
deferrable (bool) – 在可推遲模式下執行運算子。

返回:

表示 DataScanJob 的字典。當作業以成功狀態完成時，可以獲取有關資料質量結果的資訊。

template_fields = ('project_id', 'data_scan_id', 'impersonation_chain', 'job_id')[source]¶

project_id[source]¶

region[source]¶

data_scan_id[source]¶

job_id = None[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

fail_on_dq_failure = False[source]¶

wait_for_results = True[source]¶

result_timeout = 600.0[source]¶

deferrable = True[source]¶

polling_interval_seconds = 10[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

execute_complete(context, event=None)[source]¶

當觸發器觸發時作為回撥 - 立即返回。

依賴觸發器丟擲異常，否則假定執行成功。

類 airflow.providers.google.cloud.operators.dataplex.DataplexCreateOrUpdateDataProfileScanOperator(project_id, region, data_scan_id, body, api_version='v1', retry=DEFAULT, timeout=None, update_mask=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立一個 DataScan Data Profile 資源。

引數:

project_id (str) – 必需。Lake 所屬的 Google Cloud 專案 ID。
region (str) – 必需。Lake 所屬的 Google Cloud 區域 ID。
body (dict[str, Any] | google.cloud.dataplex_v1.types.DataScan) – 必需。請求正文包含 DataScan 的例項。
data_scan_id (str) – 必需。資料資料分析掃描識別符號。
update_mask (dict | google.protobuf.field_mask_pb2.FieldMask | None) – 要更新的欄位掩碼。
api_version (str) – 將要請求的 API 版本，例如 ‘v1’。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

返回:

Dataplex 資料資料分析 ID

template_fields = ('project_id', 'data_scan_id', 'body', 'impersonation_chain')[source]¶

template_fields_renderers[source]¶

project_id[source]¶

region[source]¶

data_scan_id[source]¶

body[source]¶

update_mask = None[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

類 airflow.providers.google.cloud.operators.dataplex.DataplexGetDataProfileScanOperator(project_id, region, data_scan_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

獲取 DataScan DataProfile 資源。

引數:

project_id (str) – 必需。Lake 所屬的 Google Cloud 專案 ID。
region (str) – 必需。Lake 所屬的 Google Cloud 區域 ID。
data_scan_id (str) – 必需。資料資料分析掃描識別符號。
api_version (str) – 將要請求的 API 版本，例如 ‘v1’。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

返回:

Dataplex 資料資料分析

template_fields = ('project_id', 'data_scan_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

data_scan_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

類 airflow.providers.google.cloud.operators.dataplex.DataplexDeleteDataProfileScanOperator(project_id, region, data_scan_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除 DataScan DataProfile 資源。

引數:

project_id (str) – 必需。Lake 所屬的 Google Cloud 專案 ID。
region (str) – 必需。Lake 所屬的 Google Cloud 區域 ID。
data_scan_id (str) – 必需。資料資料分析掃描識別符號。
api_version (str) – 將要請求的 API 版本，例如 ‘v1’。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

返回:

無

template_fields = ('project_id', 'data_scan_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

data_scan_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

類 airflow.providers.google.cloud.operators.dataplex.DataplexRunDataProfileScanOperator(project_id, region, data_scan_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, asynchronous=False, result_timeout=60.0 * 10, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), polling_interval_seconds=10, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

執行 DataScan Data Profile Scan 的按需執行。

引數:

project_id (str) – 必需。Lake 所屬的 Google Cloud 專案 ID。
region (str) – 必需。Lake 所屬的 Google Cloud 區域 ID。
data_scan_id (str) – 必需。資料資料分析掃描識別符號。
api_version (str) – 將要請求的 API 版本，例如 ‘v1’。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。
asynchronous (bool) – 指示應非同步執行 Dataplex 作業的標誌。這對於提交長時間執行的作業並使用 DataplexDataProfileJobStatusSensor 非同步等待它們的結果非常有用。
result_timeout (float) – 當標誌 asynchronous = False 時，運算子等待資料資料分析掃描結果的秒數。如果在指定的秒數後未找到結果，則丟擲異常。
polling_interval_seconds (int) – 輪詢作業完成之間的秒數。該值僅在可推遲模式下執行時考慮。必須大於 0。
deferrable (bool) – 在可推遲模式下執行運算子。

返回:

Dataplex 資料資料分析掃描作業 ID。

template_fields = ('project_id', 'data_scan_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

data_scan_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

asynchronous = False[source]¶

result_timeout = 600.0[source]¶

deferrable = True[source]¶

polling_interval_seconds = 10[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

execute_complete(context, event=None)[source]¶

當觸發器觸發時作為回撥 - 立即返回。

依賴觸發器丟擲異常，否則假定執行成功。

類 airflow.providers.google.cloud.operators.dataplex.DataplexGetDataProfileScanResultOperator(project_id, region, data_scan_id, job_id=None, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, wait_for_results=True, result_timeout=60.0 * 10, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

獲取 DataScan Data Profile Job 資源。

引數:

project_id (str) – 必需。Lake 所屬的 Google Cloud 專案 ID。
region (str) – 必需。Lake 所屬的 Google Cloud 區域 ID。
data_scan_id (str) – 必需。資料資料分析掃描識別符號。
job_id (str | None) – 可選。資料資料分析掃描作業識別符號。
api_version (str) – 將要請求的 API 版本，例如 ‘v1’。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，單位為秒。請注意，如果指定了 retry，則超時應用於每次單獨嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。
wait_for_results (bool) – 指示是等待作業執行結果還是返回作業當前狀態的標誌。
result_timeout (浮點數) – 以秒為單位的值，當標誌 wait_for_results = True 時，operator 將等待資料概況掃描結果的時間。如果在指定秒數後未找到結果，則丟擲異常。

返回:

表示 DataScanJob 的字典。當作業成功完成時，可獲取資料概況結果的相關資訊。

template_fields = ('project_id', 'data_scan_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

data_scan_id[source]¶

job_id = None[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

wait_for_results = True[source]¶

result_timeout = 600.0[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

execute_complete(context, event=None)[source]¶

當觸發器觸發時作為回撥 - 立即返回。

依賴觸發器丟擲異常，否則假定執行成功。

class airflow.providers.google.cloud.operators.dataplex.DataplexCreateZoneOperator(project_id, region, lake_id, body, zone_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在 Lake 中建立一個 Zone 資源。

引數:

project_id (str) – 必需。Task 所屬的 Google Cloud 專案的 ID。
region (str) – 必需。Task 所屬的 Google Cloud 區域的 ID。
lake_id (str) – 必需。Task 所屬的 Google Cloud lake 的 ID。
body (字典[字串, Any] | google.cloud.dataplex_v1.types.Zone) – 必需。請求正文包含一個 Zone 例項。
zone_id (字串) – 必需。任務識別符號。
api_version (str) – 將請求的 API 版本，例如 'v3'。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

返回:

Zone

template_fields = ('project_id', 'zone_id', 'body', 'lake_id', 'impersonation_chain')[source]¶

template_fields_renderers[source]¶

project_id[source]¶

region[source]¶

lake_id[source]¶

body[source]¶

zone_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexDeleteZoneOperator(project_id, region, lake_id, zone_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除 Zone 資源。必須先刪除 Zone 內的所有 assets，然後才能刪除 Zone。

引數:

project_id (str) – 必需。Task 所屬的 Google Cloud 專案的 ID。
region (str) – 必需。Task 所屬的 Google Cloud 區域的 ID。
lake_id (str) – 必需。Task 所屬的 Google Cloud lake 的 ID。
zone_id (字串) – 必需。Zone 識別符號。
api_version (str) – 將請求的 API 版本，例如 'v3'。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

返回:

無

template_fields = ('project_id', 'lake_id', 'zone_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

lake_id[source]¶

zone_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCreateAssetOperator(project_id, region, lake_id, body, zone_id, asset_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立一個 Asset 資源。

引數:

project_id (str) – 必需。Task 所屬的 Google Cloud 專案的 ID。
region (str) – 必需。Task 所屬的 Google Cloud 區域的 ID。
lake_id (字串) – 必需。資產所屬的 Google Cloud Lake 的 ID。
zone_id (字串) – 必需。Zone 識別符號。
asset_id (字串) – 必需。Asset 識別符號。
body (字典[字串, Any] | google.cloud.dataplex_v1.types.Asset) – 必需。請求正文包含一個 Asset 例項。
api_version (str) – 將請求的 API 版本，例如 'v3'。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

返回:

Asset

template_fields = ('project_id', 'zone_id', 'asset_id', 'body', 'impersonation_chain')[source]¶

template_fields_renderers[source]¶

project_id[source]¶

region[source]¶

lake_id[source]¶

body[source]¶

zone_id[source]¶

asset_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexDeleteAssetOperator(project_id, region, lake_id, zone_id, asset_id, api_version='v1', retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除 asset 資源。

引數:

project_id (str) – 必需。Task 所屬的 Google Cloud 專案的 ID。
region (str) – 必需。Task 所屬的 Google Cloud 區域的 ID。
lake_id (字串) – 必需。資產所屬的 Google Cloud Lake 的 ID。
zone_id (字串) – 必需。Zone 識別符號。
asset_id (字串) – 必需。Asset 識別符號。
api_version (str) – 將請求的 API 版本，例如 'v3'。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – 等待請求完成的時間量，以秒為單位。請注意，如果指定了 retry，則超時應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。
gcp_conn_id (str) – 獲取連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選。用於使用短期憑據進行身份模擬的服務賬號，或獲取列表中最後一個賬號的 access_token 所需的鏈式賬號列表，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予源賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須向直接前置的身份授予 Service Account Token Creator IAM 角色，其中列表中的第一個賬號將此角色授予源賬號（模板化）。

返回:

無

template_fields = ('project_id', 'zone_id', 'asset_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

lake_id[source]¶

zone_id[source]¶

asset_id[source]¶

api_version = 'v1'[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogBaseOperator(project_id, location, gcp_conn_id='google_cloud_default', retry=DEFAULT, timeout=None, metadata=(), impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

所有 Dataplex Catalog 運算子的基類。

引數:

project_id (str) – Required. 使用服務的 Google Cloud 專案 ID。
location (str) – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id (str) – Optional. 用於連線到 Google Cloud 的連線 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout (float | None) – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata (collections.abc.Sequence[tuple[str, str]]) – Optional. 提供給方法的附加元資料。
impersonation_chain (str | collections.abc.Sequence[str] | None) – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'location', 'gcp_conn_id', 'impersonation_chain')[source]¶

project_id[source]¶

location[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

property hook: airflow.providers.google.cloud.hooks.dataplex.DataplexHook[source]¶

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogCreateEntryGroupOperator(entry_group_id, entry_group_configuration, validate_request=False, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

建立一個 EntryGroup 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：建立 EntryGroup

引數:

entry_group_id (str) – Required. EntryGroup 識別符號。
entry_group_configuration (google.cloud.dataplex_v1.types.EntryGroup | dict) – Required. EntryGroup 配置。更多詳情請參閱 API 文件： https://cloud.google.com/dataplex/docs/reference/rest/v1/projects.locations.entryGroups#EntryGroup
validate_request (bool) – Optional. 如果設定，將執行請求驗證，但不實際執行請求。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

operator_extra_links[source]¶

entry_group_id[source]¶

entry_group_configuration[source]¶

validate_request = False[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogGetEntryGroupOperator(entry_group_id, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

獲取 EntryGroup 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：獲取 EntryGroup

引數:

entry_group_id (str) – Required. EntryGroup 識別符號。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

operator_extra_links[source]¶

entry_group_id[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogDeleteEntryGroupOperator(entry_group_id, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

刪除 EntryGroup 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：刪除 EntryGroup

引數:

entry_group_id (str) – Required. EntryGroup 識別符號。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

entry_group_id[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogListEntryGroupsOperator(page_size=None, page_token=None, filter_by=None, order_by=None, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

列出 EntryGroup 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：列出 EntryGroups

引數:

filter_by (str | None) – Optional. 應用於列表結果的過濾器。
order_by (str | None) – Optional. 用於對結果進行排序的欄位。
page_size (int | None) – Optional. 每頁返回的 EntryGroups 最大數量。
page_token (str | None) – Optional. 用於檢索下一頁結果的令牌。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'location', 'gcp_conn_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

page_size = None[source]¶

page_token = None[source]¶

filter_by = None[source]¶

order_by = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogUpdateEntryGroupOperator(entry_group_id, entry_group_configuration, update_mask=None, validate_request=False, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

更新 EntryGroup 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：更新 EntryGroup

引數:

project_id – Required. 任務所屬的 Google Cloud 專案 ID。
location – Required. 任務所屬的 Google Cloud 區域 ID。
update_mask (list[str] | google.protobuf.field_mask_pb2.FieldMask | None) – Optional. 要覆蓋條目組上其值的欄位名稱。如果此引數缺失或為空，則會覆蓋所有可修改欄位。如果請求正文中省略了此類非必需欄位，則其值將被清空。
entry_group_id (str) – Required. 要更新的 EntryGroup ID。
entry_group_configuration (dict | google.cloud.dataplex_v1.types.EntryGroup) – Required. EntryGroup 的更新配置正文。更多詳情請參閱 API 文件： https://cloud.google.com/dataplex/docs/reference/rest/v1/projects.locations.entryGroups#EntryGroup
validate_only – Optional. 服務驗證請求，但不執行任何修改。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
gcp_conn_id – Optional. 獲取連線資訊時使用的連線 ID。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

operator_extra_links[source]¶

entry_group_id[source]¶

entry_group_configuration[source]¶

update_mask = None[source]¶

validate_request = False[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogCreateEntryTypeOperator(entry_type_id, entry_type_configuration, validate_request=False, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

建立一個 EntryType 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：建立 EntryType

引數:

entry_type_id (str) – Required. EntryType 識別符號。
entry_type_configuration (google.cloud.dataplex_v1.types.EntryType | dict) – 必需。EntryType 配置。有關更多詳細資訊，請參閱 API 文件：https://cloud.google.com/dataplex/docs/reference/rest/v1/projects.locations.entryGroups#EntryGroup
validate_request (bool) – Optional. 如果設定，將執行請求驗證，但不實際執行請求。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

operator_extra_links[source]¶

entry_type_id[source]¶

entry_type_configuration[source]¶

validate_request = False[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogGetEntryTypeOperator(entry_type_id, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

獲取 EntryType 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：獲取 EntryType

引數:

entry_type_id (str) – Required. EntryType 識別符號。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

operator_extra_links[source]¶

entry_type_id[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogDeleteEntryTypeOperator(entry_type_id, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

刪除 EntryType 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：刪除 EntryType

引數:

entry_type_id (str) – Required. EntryType 識別符號。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

entry_type_id[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogListEntryTypesOperator(page_size=None, page_token=None, filter_by=None, order_by=None, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

列出 EntryType 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：列出 EntryType

引數:

filter_by (str | None) – Optional. 應用於列表結果的過濾器。
order_by (str | None) – Optional. 用於對結果進行排序的欄位。
page_size (int | None) – 可選。每頁返回的最大 EntryType 數量。
page_token (str | None) – Optional. 用於檢索下一頁結果的令牌。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'location', 'gcp_conn_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

page_size = None[source]¶

page_token = None[source]¶

filter_by = None[source]¶

order_by = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogUpdateEntryTypeOperator(entry_type_id, entry_type_configuration, update_mask=None, validate_request=False, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

更新 EntryType 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：更新 EntryType

引數:

project_id – Required. 任務所屬的 Google Cloud 專案 ID。
location – Required. 任務所屬的 Google Cloud 區域 ID。
update_mask (list[str] | google.protobuf.field_mask_pb2.FieldMask | None) – Optional. 要覆蓋條目組上其值的欄位名稱。如果此引數缺失或為空，則會覆蓋所有可修改欄位。如果請求正文中省略了此類非必需欄位，則其值將被清空。
entry_type_id (str) – 必需。要更新的 EntryType 的 ID。
entry_type_configuration (dict | google.cloud.dataplex_v1.types.EntryType) – 必需。EntryType 更新後的配置主體。有關更多詳細資訊，請參閱 API 文件：https://cloud.google.com/dataplex/docs/reference/rest/v1/projects.locations.entryGroups#EntryGroup
validate_only – Optional. 服務驗證請求，但不執行任何修改。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
gcp_conn_id – Optional. 獲取連線資訊時使用的連線 ID。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

operator_extra_links[source]¶

entry_type_id[source]¶

entry_type_configuration[source]¶

update_mask = None[source]¶

validate_request = False[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogCreateAspectTypeOperator(aspect_type_id, aspect_type_configuration, validate_request=False, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

建立一個 AspectType 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：建立 AspectType

引數:

aspect_type_id (str) – 必需。AspectType 識別符號。
aspect_type_configuration (google.cloud.dataplex_v1.types.AspectType | dict) – 必需。AspectType 配置。有關更多詳細資訊，請參閱 API 文件：https://cloud.google.com/dataplex/docs/reference/rest/v1/projects.locations.aspectTypes#AspectType
validate_request (bool) – Optional. 如果設定，將執行請求驗證，但不實際執行請求。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

operator_extra_links[source]¶

aspect_type_id[source]¶

aspect_type_configuration[source]¶

validate_request = False[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogGetAspectTypeOperator(aspect_type_id, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

獲取 AspectType 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：獲取 AspectType

引數:

aspect_type_id (str) – 必需。AspectType 識別符號。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

operator_extra_links[source]¶

aspect_type_id[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogListAspectTypesOperator(page_size=None, page_token=None, filter_by=None, order_by=None, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

列出 AspectType 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：列出 AspectType

引數:

filter_by (str | None) – Optional. 應用於列表結果的過濾器。
order_by (str | None) – Optional. 用於對結果進行排序的欄位。
page_size (int | None) – 可選。每頁返回的最大 AspectType 數量。
page_token (str | None) – Optional. 用於檢索下一頁結果的令牌。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'location', 'gcp_conn_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

page_size = None[source]¶

page_token = None[source]¶

filter_by = None[source]¶

order_by = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogUpdateAspectTypeOperator(aspect_type_id, aspect_type_configuration, update_mask=None, validate_request=False, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

更新 AspectType 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：更新 AspectType

引數:

project_id – Required. 任務所屬的 Google Cloud 專案 ID。
location – Required. 任務所屬的 Google Cloud 區域 ID。
update_mask (list[str] | google.protobuf.field_mask_pb2.FieldMask | None) – Optional. 要覆蓋條目組上其值的欄位名稱。如果此引數缺失或為空，則會覆蓋所有可修改欄位。如果請求正文中省略了此類非必需欄位，則其值將被清空。
aspect_type_id (str) – 必需。要更新的 AspectType 的 ID。
aspect_type_configuration (dict (字典) | google.cloud.dataplex_v1.types.AspectType) – 必需。AspectType 更新後的配置主體。有關更多詳情，請參閱 API 文件：https://cloud.google.com/dataplex/docs/reference/rest/v1/projects.locations.aspectTypes#AspectType
validate_only – Optional. 服務驗證請求，但不執行任何修改。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
gcp_conn_id – Optional. 獲取連線資訊時使用的連線 ID。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

operator_extra_links[source]¶

aspect_type_id[source]¶

aspect_type_configuration[source]¶

update_mask = None[source]¶

validate_request = False[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogDeleteAspectTypeOperator(aspect_type_id, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

刪除 AspectType 資源。

另請參閱

要詳細瞭解如何使用此運算子，請參閱以下指南：Delete an AspectType

引數:

aspect_type_id (str) – 必需。AspectType 識別符號。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

aspect_type_id[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogCreateEntryOperator(entry_id, entry_group_id, entry_configuration, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

建立一個 Entry 資源。

另請參閱

要詳細瞭解如何使用此運算子，請參閱以下指南：Create an Entry

引數:

entry_id (str (字串)) – 必需。條目識別符號。它必須在條目組內唯一。與 Google Cloud 資源對應的條目使用基於完整資源名稱的條目 ID 格式。格式為資源名稱，但省略了完整資源名稱中 API 服務名稱部分的雙斜槓字首。這允許使用與條目關聯的資源名稱檢索條目。例如，如果某個資源的完整資源名稱是 //library.googleapis.com/shelves/shelf1/books/book2，則建議的 entry_id 為 library.googleapis.com/shelves/shelf1/books/book2。也建議對於與 Google Cloud 以外的提供商或系統的資源對應的條目，遵循相同的約定。欄位的最大大小為 4000 個字元。
entry_group_id (str (字串)) – 必需。該建立的條目將屬於的 EntryGroup 資源名稱。
entry_configuration (google.cloud.dataplex_v1.types.Entry | dict (字典)) – 必需。條目配置。有關更多詳情，請參閱 API 文件：https://cloud.google.com/dataplex/docs/reference/rest/v1/projects.locations.entryGroups.entries#Entry
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

operator_extra_links[source]¶

entry_id[source]¶

entry_group_id[source]¶

entry_configuration[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogGetEntryOperator(entry_id, entry_group_id, view=None, aspect_types=None, paths=None, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

獲取 Entry 資源。

另請參閱

要詳細瞭解如何使用此運算子，請參閱以下指南：Get an Entry

引數:

entry_id (str (字串)) – 必需。條目識別符號。它必須在條目組內唯一。與 Google Cloud 資源對應的條目使用基於完整資源名稱的條目 ID 格式。格式為資源名稱，但省略了完整資源名稱中 API 服務名稱部分的雙斜槓字首。這允許使用與條目關聯的資源名稱檢索條目。例如，如果某個資源的完整資源名稱是 //library.googleapis.com/shelves/shelf1/books/book2，則建議的 entry_id 為 library.googleapis.com/shelves/shelf1/books/book2。也建議對於與 Google Cloud 以外的提供商或系統的資源對應的條目，遵循相同的約定。欄位的最大大小為 4000 個字元。
entry_group_id (str (字串)) – 必需。該建立的條目將屬於的 EntryGroup 資源名稱。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
view (google.cloud.dataplex_v1.types.EntryView | str (字串) | None) – 可選。用於控制服務應返回的條目的哪些部分的檢視。
aspect_types (collections.abc.MutableSequence[str (字串)] | None) – 可選。將返回的方面限制為提供的 AspectType。它僅適用於 CUSTOM 檢視。
paths (collections.abc.MutableSequence[str (字串)] | None) – 可選。將返回的方面限制為與條目內提供的路徑相關聯的那些。它僅適用於 CUSTOM 檢視。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

operator_extra_links[source]¶

entry_id[source]¶

entry_group_id[source]¶

view = None[source]¶

aspect_types = None[source]¶

paths = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogListEntriesOperator(entry_group_id, page_size=None, page_token=None, filter_by=None, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

列出 Entry 資源。

另請參閱

要詳細瞭解如何使用此運算子，請參閱以下指南：List Entries

引數:

entry_group_id (str (字串)) – 必需。該建立的條目所屬的 EntryGroup 資源名稱。
filter_by (str (字串) | None) –
可選。用於過濾要返回的條目的過濾器。過濾器區分大小寫。您可以透過以下欄位過濾請求：
- entry_type
- entry_source.display_name
比較運算子包括 =、!=、<、>、<=、>=。服務根據詞彙順序比較字串。您可以在過濾器中使用邏輯運算子 AND、OR、NOT。您可以使用萬用字元“*”，但對於 entry_type，您需要提供完整的專案 ID 或編號。示例過濾器表示式：
- ”entry_source.display_name=AnExampleDisplayName”
- ”entry_type=projects/example-project/locations/global/entryTypes/example-entry_type”
- ”entry_type=projects/example-project/locations/us/entryTypes/a*
  OR entry_type=projects/another-project/locations/*”
- ”NOT entry_source.display_name=AnotherExampleDisplayName”。
page_size (int (整數) | None) – 可選。每頁返回的條目數。如果還有剩餘結果，服務會返回 next_page_token。如果未指定，服務最多返回 10 個條目。最大值為 100；大於 100 的值將被強制設為 100。
page_token (str (字串) | None) – 可選。從上一個 ListEntries 呼叫接收到的頁面令牌。提供此令牌以檢索後續頁面。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'location', 'gcp_conn_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

entry_group_id[source]¶

page_size = None[source]¶

page_token = None[source]¶

filter_by = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogSearchEntriesOperator(query, order_by=None, scope=None, page_size=None, page_token=None, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

根據指定的查詢和範圍搜尋 Entries。

另請參閱

要詳細瞭解如何使用此運算子，請參閱以下指南：Search Entries

引數:

query (str (字串)) – 必需。要在範圍內匹配條目的查詢。查詢語法在 Dataplex Catalog 的搜尋語法中定義。
order_by (str (字串) | None) –
可選。指定結果的排序方式。支援的值包括：
- relevance (預設)
- last_modified_timestamp
- last_modified_timestamp asc
scope (str (字串) | None) – 可選。搜尋應在其下進行操作的範圍。它必須是 organizations/<org_id> 或 projects/<project_ref> 之一。如果未指定，則預設為 name 中提供的專案所在的組織。
page_size (int (整數) | None) – 可選。每頁返回的條目數。如果還有剩餘結果，服務會返回 next_page_token。如果未指定，服務最多返回 10 個條目。最大值為 100；大於 100 的值將被強制設為 100。
page_token (str (字串) | None) – 可選。從上一個 ListEntries 呼叫接收到的頁面令牌。提供此令牌以檢索後續頁面。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

query[source]¶

page_size = None[source]¶

page_token = None[source]¶

order_by = None[source]¶

scope = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

class airflow.providers.google.cloud.operators.dataplex.DataplexCatalogLookupEntryOperator(entry_id, entry_group_id, view=None, aspect_types=None, paths=None, *args, **kwargs)[source]¶

基礎： DataplexCatalogBaseOperator

使用源系統上的許可權按名稱查詢單個 Entry。

另請參閱

要詳細瞭解如何使用此運算子，請參閱以下指南：Look up a single Entry

引數:

entry_id (str (字串)) – 必需。條目識別符號。它必須在條目組內唯一。與 Google Cloud 資源對應的條目使用基於完整資源名稱的條目 ID 格式。格式為資源名稱，但省略了完整資源名稱中 API 服務名稱部分的雙斜槓字首。這允許使用與條目關聯的資源名稱檢索條目。例如，如果某個資源的完整資源名稱是 //library.googleapis.com/shelves/shelf1/books/book2，則建議的 entry_id 為 library.googleapis.com/shelves/shelf1/books/book2。也建議對於與 Google Cloud 以外的提供商或系統的資源對應的條目，遵循相同的約定。欄位的最大大小為 4000 個字元。
entry_group_id (str (字串)) – 必需。該建立的條目將屬於的 EntryGroup 資源名稱。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
view (google.cloud.dataplex_v1.types.EntryView | str (字串) | None) – 可選。用於控制服務應返回的條目的哪些部分的檢視。
aspect_types (collections.abc.MutableSequence[str (字串)] | None) – 可選。將返回的方面限制為提供的 AspectType。它僅適用於 CUSTOM 檢視。
paths (collections.abc.MutableSequence[str (字串)] | None) – 可選。將返回的方面限制為與條目內提供的路徑相關聯的那些。它僅適用於 CUSTOM 檢視。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][source]¶

operator_extra_links[source]¶

entry_id[source]¶

entry_group_id[source]¶

view = None[source]¶

aspect_types = None[source]¶

paths = None[source]¶

execute(context)[原始碼]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

類 airflow.providers.google.cloud.operators.dataplex.DataplexCatalogUpdateEntryOperator(entry_id, entry_group_id, entry_configuration, allow_missing=False, delete_missing_aspects=False, aspect_keys=None, update_mask=None, *args, **kwargs)[原始碼]¶

基礎： DataplexCatalogBaseOperator

更新 Entry 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：更新條目

引數:

project_id – Required. 任務所屬的 Google Cloud 專案 ID。
location – Required. 任務所屬的 Google Cloud 區域 ID。
entry_id (str (字串)) – 必需。條目識別符號。它必須在條目組內唯一。與 Google Cloud 資源對應的條目使用基於完整資源名稱的條目 ID 格式。格式為資源名稱，但省略了完整資源名稱中 API 服務名稱部分的雙斜槓字首。這允許使用與條目關聯的資源名稱檢索條目。例如，如果某個資源的完整資源名稱是 //library.googleapis.com/shelves/shelf1/books/book2，則建議的 entry_id 為 library.googleapis.com/shelves/shelf1/books/book2。也建議對於與 Google Cloud 以外的提供商或系統的資源對應的條目，遵循相同的約定。欄位的最大大小為 4000 個字元。
entry_group_id (str (字串)) – 必需。該建立的條目所屬的 EntryGroup 資源名稱。
entry_configuration (dict | google.cloud.dataplex_v1.types.Entry) – 必填。條目的更新配置主體。
allow_missing (bool | None) – 可選。如果設定為 true 且條目不存在，服務將建立它。
delete_missing_aspects (bool | None) – 可選。如果設定為 true 且 aspect_keys 指定了 Aspect 範圍，服務將刪除該範圍內請求中未提供的任何現有 Aspect。
aspect_keys (collections.abc.MutableSequence[str] | None) –
可選。服務應修改的 Aspect 的對映鍵。它支援以下語法：
- <aspect_type_reference> - 匹配給定型別和空路徑的 Aspect。
- <aspect_type_reference>@path - 匹配給定型別和指定路徑的 Aspect。
  例如，要將 Aspect 附加到由 schema Aspect 指定的欄位，路徑應採用以下格式：Schema.<field_name>。
- <aspect_type_reference>@* - 匹配給定型別在所有路徑上的 Aspect。
- *@path - 匹配給定路徑上所有型別的 Aspect。
除非將 delete_missing_aspects 設定為 true，否則服務不會刪除與該語法匹配的現有 Aspect。如果此欄位留空，服務會將其視為僅指定請求中存在的那些 Aspect。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
gcp_conn_id – Optional. 獲取連線資訊時使用的連線 ID。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][原始碼]¶

operator_extra_links[原始碼]¶

entry_id[原始碼]¶

entry_group_id[原始碼]¶

entry_configuration[原始碼]¶

update_mask = None[原始碼]¶

allow_missing = False[原始碼]¶

delete_missing_aspects = False[原始碼]¶

aspect_keys = None[原始碼]¶

execute(context)[原始碼]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。

類 airflow.providers.google.cloud.operators.dataplex.DataplexCatalogDeleteEntryOperator(entry_id, entry_group_id, *args, **kwargs)[原始碼]¶

基礎： DataplexCatalogBaseOperator

刪除 Entry 資源。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：刪除條目

引數:

entry_id (str (字串)) – 必需。條目識別符號。它必須在條目組內唯一。與 Google Cloud 資源對應的條目使用基於完整資源名稱的條目 ID 格式。格式為資源名稱，但省略了完整資源名稱中 API 服務名稱部分的雙斜槓字首。這允許使用與條目關聯的資源名稱檢索條目。例如，如果某個資源的完整資源名稱是 //library.googleapis.com/shelves/shelf1/books/book2，則建議的 entry_id 為 library.googleapis.com/shelves/shelf1/books/book2。也建議對於與 Google Cloud 以外的提供商或系統的資源對應的條目，遵循相同的約定。欄位的最大大小為 4000 個字元。
entry_group_id (str (字串)) – 必需。該建立的條目將屬於的 EntryGroup 資源名稱。
project_id – Required. 使用服務的 Google Cloud 專案 ID。
location – Required. 使用服務的 Google Cloud 區域 ID。
gcp_conn_id – Optional. 用於連線到 Google Cloud 的連線 ID。
retry – Optional. 用於重試請求的重試物件。如果指定為 None，則不會重試請求。
timeout – Optional. 等待請求完成的時間（秒）。請注意，如果指定了 retry，則超時時間應用於每次單獨的嘗試。
metadata – Optional. 提供給方法的附加元資料。
impersonation_chain – Optional. 用於使用短期憑據模擬的服務賬號，或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該 access_token 將在請求中被模擬。如果設定為字串，則此賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將 Service Account Token Creator IAM 角色授予其直接前置身份，列表中的第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str][原始碼]¶

entry_id[原始碼]¶

entry_group_id[原始碼]¶

execute(context)[原始碼]¶

在建立運算子時派生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲取更多上下文。