airflow.providers.google.cloud.operators.datastore¶

此模組包含 Google Datastore 運算子。

類¶

`CloudDatastoreExportEntitiesOperator`	將實體從 Google Cloud Datastore 匯出到 Cloud Storage。
`CloudDatastoreImportEntitiesOperator`	將實體從 Cloud Storage 匯入到 Google Cloud Datastore。
`CloudDatastoreAllocateIdsOperator`	為不完整的鍵分配 ID。返回鍵列表。
`CloudDatastoreBeginTransactionOperator`	開始新事務。返回事務控制代碼。
`CloudDatastoreCommitOperator`	提交事務，可選地建立、刪除或修改某些實體。
`CloudDatastoreRollbackOperator`	回滾事務。
`CloudDatastoreRunQueryOperator`	執行實體查詢。返回查詢結果批次。
`CloudDatastoreGetOperationOperator`	獲取長時間執行的操作的最新狀態。
`CloudDatastoreDeleteOperationOperator`	刪除長時間執行的操作。

模組內容¶

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreExportEntitiesOperator(*, bucket, namespace=None, datastore_conn_id='google_cloud_default', cloud_storage_conn_id='google_cloud_default', entity_filter=None, labels=None, polling_interval_in_seconds=10, overwrite_existing=False, project_id=PROVIDE_PROJECT_ID, impersonation_chain=None, **kwargs)¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

將實體從 Google Cloud Datastore 匯出到 Cloud Storage。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：匯出實體

另請參閱

https://cloud.google.com/datastore/docs/export-import-entities

引數::

bucket (str) – 用於備份資料的 Cloud Storage 儲存桶名稱
namespace (str | None) – 指定 Cloud Storage 儲存桶中用於備份資料的可選名稱空間路徑。如果此名稱空間在 GCS 中不存在，將建立它。
datastore_conn_id (str) – 要使用的 Datastore 連線 ID 名稱
cloud_storage_conn_id (str) – 用於強制寫入備份的 Cloud Storage 連線 ID 名稱
entity_filter (dict | None) – 專案中包含在匯出中的資料描述，請參閱 https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter
labels (dict | None) – 客戶端為 Cloud Storage 分配的標籤
polling_interval_in_seconds (int) – 再次輪詢執行狀態前等待的秒數
overwrite_existing (bool) – 如果儲存桶 + 名稱空間不為空，將在匯出前清空它。這允許覆蓋現有備份。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號（將在請求中被模擬）的 access_token 所需的賬號鏈列表。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('bucket', 'namespace', 'entity_filter', 'labels', 'impersonation_chain')¶

operator_extra_links¶

datastore_conn_id = 'google_cloud_default'¶

cloud_storage_conn_id = 'google_cloud_default'¶

bucket¶

namespace = None¶

entity_filter = None¶

labels = None¶

polling_interval_in_seconds = 10¶

overwrite_existing = False¶

project_id = None¶

impersonation_chain = None¶

execute(context)¶

建立運算子時派生。

上下文是與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreImportEntitiesOperator(*, bucket, file, namespace=None, entity_filter=None, labels=None, datastore_conn_id='google_cloud_default', polling_interval_in_seconds=10, project_id=PROVIDE_PROJECT_ID, impersonation_chain=None, **kwargs)¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

將實體從 Cloud Storage 匯入到 Google Cloud Datastore。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：匯入實體

另請參閱

https://cloud.google.com/datastore/docs/export-import-entities

引數::

bucket (str) – Cloud Storage 中用於儲存資料的容器
file (str) – 指定 Cloud Storage 儲存桶中備份元資料檔案的路徑。它應具有副檔名 .overall_export_metadata
namespace (str | None) – 指定 Cloud Storage 儲存桶中備份元資料檔案的可選名稱空間。
entity_filter (dict | None) – 專案中包含在匯出中的資料描述，請參閱 https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter
labels (dict | None) – 客戶端為 Cloud Storage 分配的標籤
datastore_conn_id (str) – 要使用的連線 ID 名稱
polling_interval_in_seconds (float) – 再次輪詢執行狀態前等待的秒數
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號（將在請求中被模擬）的 access_token 所需的賬號鏈列表。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('bucket', 'file', 'namespace', 'entity_filter', 'labels', 'impersonation_chain')¶

operator_extra_links¶

datastore_conn_id = 'google_cloud_default'¶

bucket¶

file¶

namespace = None¶

entity_filter = None¶

labels = None¶

polling_interval_in_seconds = 10¶

project_id = None¶

impersonation_chain = None¶

execute(context)¶

建立運算子時派生。

上下文是與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreAllocateIdsOperator(*, partial_keys, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

為不完整的鍵分配 ID。返回鍵列表。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：分配 ID

另請參閱

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/allocateIds

引數::

partial_keys (list) – 不完整鍵的列表。
project_id (str) – 發出請求時使用的 Google Cloud 專案 ID。
gcp_conn_id (str) – 連線到 Google Cloud 時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號（將在請求中被模擬）的 access_token 所需的賬號鏈列表。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('partial_keys', 'impersonation_chain')¶

operator_extra_links¶

partial_keys¶

gcp_conn_id = 'google_cloud_default'¶

project_id = None¶

impersonation_chain = None¶

execute(context)¶

建立運算子時派生。

上下文是與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreBeginTransactionOperator(*, transaction_options, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

開始新事務。返回事務控制代碼。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：開始事務

另請參閱

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/beginTransaction

引數::

transaction_options (dict[str, Any]) – 新事務的選項。
project_id (str) – 發出請求時使用的 Google Cloud 專案 ID。
gcp_conn_id (str) – 連線到 Google Cloud 時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號（將在請求中被模擬）的 access_token 所需的賬號鏈列表。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('transaction_options', 'impersonation_chain')¶

transaction_options[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

project_id = None[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立運算子時派生。

上下文是與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreCommitOperator(*, body, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

提交事務，可選地建立、刪除或修改某些實體。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：提交事務

另請參閱

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/commit

引數::

body (dict[str, Any]) – 提交請求的主體。
project_id (str) – 發出請求時使用的 Google Cloud 專案 ID。
gcp_conn_id (str) – 連線到 Google Cloud 時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號（將在請求中被模擬）的 access_token 所需的賬號鏈列表。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('body', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

body[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

project_id = None[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立運算子時派生。

上下文是與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreRollbackOperator(*, transaction, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

回滾事務。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：回滾事務

另請參閱

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/rollback

引數::

transaction (str) – 要回滾的事務。
project_id (str) – 發出請求時使用的 Google Cloud 專案 ID。
gcp_conn_id (str) – 連線到 Google Cloud 時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號（將在請求中被模擬）的 access_token 所需的賬號鏈列表。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('transaction', 'impersonation_chain')[source]¶

transaction[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

project_id = None[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立運算子時派生。

上下文是與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreRunQueryOperator(*, body, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

執行實體查詢。返回查詢結果批次。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：執行查詢

另請參閱

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/runQuery

引數::

body (dict[str, Any]) – 查詢請求的主體。
project_id (str) – 發出請求時使用的 Google Cloud 專案 ID。
gcp_conn_id (str) – 連線到 Google Cloud 時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號（將在請求中被模擬）的 access_token 所需的賬號鏈列表。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('body', 'impersonation_chain')[source]¶

body[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

project_id = None[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立運算子時派生。

上下文是與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreGetOperationOperator(*, name, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

獲取長時間執行的操作的最新狀態。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：獲取操作狀態

另請參閱

https://cloud.google.com/datastore/docs/reference/data/rest/v1/projects.operations/get

引數::

name (str) – 操作資源的名稱。
gcp_conn_id (str) – 連線到 Google Cloud 時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號（將在請求中被模擬）的 access_token 所需的賬號鏈列表。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('name', 'impersonation_chain')[source]¶

name[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立運算子時派生。

上下文是與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreDeleteOperationOperator(*, name, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除長時間執行的操作。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：刪除操作

另請參閱

https://cloud.google.com/datastore/docs/reference/data/rest/v1/projects.operations/delete

引數::

name (str) – 操作資源的名稱。
gcp_conn_id (str) – 連線到 Google Cloud 時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號（將在請求中被模擬）的 access_token 所需的賬號鏈列表。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。

template_fields: collections.abc.Sequence[str] = ('name', 'impersonation_chain')[source]¶

name[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立運算子時派生。

上下文是與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。