airflow.providers.google.cloud.operators.bigtable¶

此模組包含Google Cloud Bigtable運算子。

類¶

`BigtableValidationMixin`	用於驗證必需欄位的Cloud Bigtable運算子通用類。
`BigtableCreateInstanceOperator`	建立新的Cloud Bigtable例項。
`BigtableUpdateInstanceOperator`	更新現有的Cloud Bigtable例項。
`BigtableDeleteInstanceOperator`	刪除Cloud Bigtable例項，包括其叢集和所有相關表。
`BigtableCreateTableOperator`	在Cloud Bigtable例項中建立表。
`BigtableDeleteTableOperator`	刪除Cloud Bigtable表。
`BigtableUpdateClusterOperator`	更新Cloud Bigtable叢集。

模組內容¶

class airflow.providers.google.cloud.operators.bigtable.BigtableValidationMixin[source]¶

用於驗證必需欄位的Cloud Bigtable運算子通用類。

REQUIRED_ATTRIBUTES: collections.abc.Iterable[str] = [][source]¶

class airflow.providers.google.cloud.operators.bigtable.BigtableCreateInstanceOperator(*, instance_id, main_cluster_id, main_cluster_zone, project_id=PROVIDE_PROJECT_ID, replica_clusters=None, instance_display_name=None, instance_type=None, instance_labels=None, cluster_nodes=None, cluster_storage_type=None, timeout=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator, BigtableValidationMixin

建立新的Cloud Bigtable例項。

如果具有給定ID的Cloud Bigtable例項已存在，運算子不會比較其配置並立即成功。不會對現有例項進行任何更改。

有關例項建立的更多詳細資訊，請參閱參考資料： https://googleapis.github.io/google-cloud-python/latest/bigtable/instance.html#google.cloud.bigtable.instance.Instance.create

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南： BigtableCreateInstanceOperator

引數：

instance_id (str) – 要建立的Cloud Bigtable例項的ID。
main_cluster_id (str) – 新例項的主叢集ID。
main_cluster_zone (str) – 主叢集的區域。有關詳細資訊，請參閱 https://cloud.google.com/bigtable/docs/locations 。
project_id (str) – 可選，Google Cloud專案ID。如果設定為 None 或缺失，則使用Google Cloud連線中的預設 project_id。
replica_clusters (list[dict[str, str]] | None) – (可選) 新例項的副本叢集列表。每個叢集字典包含一個id和一個zone。示例：[{“id”: “replica-1”, “zone”: “us-west1-a”}]
instance_type (google.cloud.bigtable.enums.Instance.Type | None) – (可選) 例項型別。
instance_display_name (str | None) – (可選) 例項的人類可讀名稱。預設為 instance_id。
instance_labels (dict | None) – (可選) 與例項關聯的標籤字典。
cluster_nodes (int | None) – (可選) 叢集節點數。
cluster_storage_type (google.cloud.bigtable.enums.StorageType | None) – (可選) 儲存型別。
timeout (float | None) – (可選) 例項建立超時時間（秒）。如果未指定 None，運算子將無限期等待。
gcp_conn_id (str) – 用於連線到Google Cloud的連線ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號的access_token所需的賬號鏈，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予原始賬號Service Account Token Creator IAM角色。如果設定為序列，列表中的身份必須將Service Account Token Creator IAM角色授予緊鄰的前一個身份，列表中第一個賬號將此角色授予原始賬號（模板化的）。

REQUIRED_ATTRIBUTES: collections.abc.Iterable[str] = ('instance_id', 'main_cluster_id', 'main_cluster_zone')[source]¶

template_fields: collections.abc.Sequence[str] = ('project_id', 'instance_id', 'main_cluster_id', 'main_cluster_zone', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id = None[source]¶

instance_id[source]¶

main_cluster_id[source]¶

main_cluster_zone[source]¶

replica_clusters = None[source]¶

instance_display_name = None[source]¶

instance_type = None[source]¶

instance_labels = None[source]¶

cluster_nodes = None[source]¶

cluster_storage_type : google.cloud.bigtable.enums.StorageType | None = None[source]¶

timeout : float | None = None[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain : str | collections.abc.Sequence[str] | None = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

上下文與渲染jinja模板時使用的字典相同。

請參閱 get_template_context 獲取更多上下文。

class airflow.providers.google.cloud.operators.bigtable.BigtableUpdateInstanceOperator(*, instance_id, project_id=PROVIDE_PROJECT_ID, instance_display_name=None, instance_type=None, instance_labels=None, timeout=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator, BigtableValidationMixin

更新現有的Cloud Bigtable例項。

有關例項更新的更多詳細資訊，請參閱參考資料： https://googleapis.dev/python/bigtable/latest/instance.html#google.cloud.bigtable.instance.Instance.update

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南： BigtableUpdateInstanceOperator

引數：

instance_id (str) – 要更新的Cloud Bigtable例項的ID。
project_id (str) – 可選，Google Cloud專案ID。如果設定為 None 或缺失，則使用Google Cloud連線中的預設 project_id。
instance_display_name (str | None) – (可選) 例項的人類可讀名稱。
instance_type (google.cloud.bigtable.enums.Instance.Type | enum.IntEnum | None) – (可選) 例項型別。
instance_labels (dict | None) – (可選) 與例項關聯的標籤字典。
timeout (float | None) – (可選) 例項更新超時時間（秒）。如果未指定 None，運算子將無限期等待。
gcp_conn_id (str) – 用於連線到Google Cloud的連線ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號的access_token所需的賬號鏈，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予原始賬號Service Account Token Creator IAM角色。如果設定為序列，列表中的身份必須將Service Account Token Creator IAM角色授予緊鄰的前一個身份，列表中第一個賬號將此角色授予原始賬號（模板化的）。

REQUIRED_ATTRIBUTES: collections.abc.Iterable[str] = ['instance_id'][source]¶

template_fields: collections.abc.Sequence[str] = ('project_id', 'instance_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id = None[source]¶

instance_id[source]¶

instance_display_name = None[source]¶

instance_type : google.cloud.bigtable.enums.Instance.Type | enum.IntEnum | None = None[source]¶

instance_labels = None[source]¶

timeout : float | None = None[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain : str | collections.abc.Sequence[str] | None = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

上下文與渲染jinja模板時使用的字典相同。

請參閱 get_template_context 獲取更多上下文。

class airflow.providers.google.cloud.operators.bigtable.BigtableDeleteInstanceOperator(*, instance_id, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator, BigtableValidationMixin

刪除Cloud Bigtable例項，包括其叢集和所有相關表。

有關刪除例項的更多詳細資訊，請參閱參考資料： https://googleapis.github.io/google-cloud-python/latest/bigtable/instance.html#google.cloud.bigtable.instance.Instance.delete

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南： BigtableDeleteInstanceOperator

引數：

instance_id (str) – 要刪除的Cloud Bigtable例項的ID。
project_id (str) – 可選，Google Cloud專案ID。如果設定為 None 或缺失，則使用Google Cloud連線中的預設 project_id。
gcp_conn_id (str) – 用於連線到Google Cloud的連線ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號的access_token所需的賬號鏈，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予原始賬號Service Account Token Creator IAM角色。如果設定為序列，列表中的身份必須將Service Account Token Creator IAM角色授予緊鄰的前一個身份，列表中第一個賬號將此角色授予原始賬號（模板化的）。

REQUIRED_ATTRIBUTES: collections.abc.Iterable[str] = ('instance_id',)[source]¶

template_fields: collections.abc.Sequence[str] = ('project_id', 'instance_id', 'impersonation_chain')[source]¶

project_id = None[source]¶

instance_id[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

上下文與渲染jinja模板時使用的字典相同。

請參閱 get_template_context 獲取更多上下文。

class airflow.providers.google.cloud.operators.bigtable.BigtableCreateTableOperator(*, instance_id, table_id, project_id=PROVIDE_PROJECT_ID, initial_split_keys=None, column_families=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator, BigtableValidationMixin

在Cloud Bigtable例項中建立表。

有關建立表的更多詳細資訊，請參閱參考資料：https://googleapis.github.io/google-cloud-python/latest/bigtable/table.html#google.cloud.bigtable.table.Table.create

另請參閱

有關如何使用此 operator 的更多資訊，請參閱指南：BigtableCreateTableOperator

引數：

instance_id (str) – 將儲存新表的 Cloud Bigtable 例項的 ID。
table_id (str) – 要建立的表的 ID。
project_id (str) – 可選，Google Cloud專案ID。如果設定為 None 或缺失，則使用Google Cloud連線中的預設 project_id。
initial_split_keys (list | None) – （可選）用於將表初步分割成多個 tablet 的位元組行鍵列表。
column_families (dict[str, google.cloud.bigtable.column_family.GarbageCollectionRule] | None) – （可選）要建立的列對映。鍵是 column_id 字串，值是一個 google.cloud.bigtable.column_family.GarbageCollectionRule
gcp_conn_id (str) – 用於連線到Google Cloud的連線ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號的access_token所需的賬號鏈，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予原始賬號Service Account Token Creator IAM角色。如果設定為序列，列表中的身份必須將Service Account Token Creator IAM角色授予緊鄰的前一個身份，列表中第一個賬號將此角色授予原始賬號（模板化的）。

REQUIRED_ATTRIBUTES: collections.abc.Iterable[str] = ('instance_id', 'table_id')[source]¶

template_fields: collections.abc.Sequence[str] = ('project_id', 'instance_id', 'table_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id = None[source]¶

instance_id[source]¶

table_id[source]¶

initial_split_keys = [][source]¶

column_families[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

上下文與渲染jinja模板時使用的字典相同。

請參閱 get_template_context 獲取更多上下文。

class airflow.providers.google.cloud.operators.bigtable.BigtableDeleteTableOperator(*, instance_id, table_id, project_id=PROVIDE_PROJECT_ID, app_profile_id=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator, BigtableValidationMixin

刪除Cloud Bigtable表。

有關刪除表的更多詳細資訊，請參閱參考資料：https://googleapis.github.io/google-cloud-python/latest/bigtable/table.html#google.cloud.bigtable.table.Table.delete

另請參閱

有關如何使用此 operator 的更多資訊，請參閱指南：BigtableDeleteTableOperator

引數：

instance_id (str) – Cloud Bigtable 例項的 ID。
table_id (str) – 要刪除的表的 ID。
project_id (str) – 可選，Google Cloud專案ID。如果設定為 None 或缺失，則使用Google Cloud連線中的預設 project_id。
app_profile_id (str | None) – 應用配置檔案。
gcp_conn_id (str) – 用於連線到Google Cloud的連線ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號的access_token所需的賬號鏈，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予原始賬號Service Account Token Creator IAM角色。如果設定為序列，列表中的身份必須將Service Account Token Creator IAM角色授予緊鄰的前一個身份，列表中第一個賬號將此角色授予原始賬號（模板化的）。

REQUIRED_ATTRIBUTES: collections.abc.Iterable[str] = ('instance_id', 'table_id')[source]¶

template_fields: collections.abc.Sequence[str] = ('project_id', 'instance_id', 'table_id', 'impersonation_chain')[source]¶

project_id = None[source]¶

instance_id[source]¶

table_id[source]¶

app_profile_id = None[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

上下文與渲染jinja模板時使用的字典相同。

請參閱 get_template_context 獲取更多上下文。

class airflow.providers.google.cloud.operators.bigtable.BigtableUpdateClusterOperator(*, instance_id, cluster_id, nodes, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基類: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator, BigtableValidationMixin

更新Cloud Bigtable叢集。

有關更新 Cloud Bigtable 叢集的更多詳細資訊，請參閱參考資料：https://googleapis.github.io/google-cloud-python/latest/bigtable/cluster.html#google.cloud.bigtable.cluster.Cluster.update

另請參閱

有關如何使用此 operator 的更多資訊，請參閱指南：BigtableUpdateClusterOperator

引數：

instance_id (str) – Cloud Bigtable 例項的 ID。
cluster_id (str) – 要更新的 Cloud Bigtable 叢集的 ID。
nodes (int) – Cloud Bigtable 叢集所需的節點數。
project_id (str) – 可選，Google Cloud 專案的 ID。
gcp_conn_id (str) – 用於連線到Google Cloud的連線ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者獲取列表中最後一個賬號的access_token所需的賬號鏈，該賬號將在請求中被模擬。如果設定為字串，該賬號必須授予原始賬號Service Account Token Creator IAM角色。如果設定為序列，列表中的身份必須將Service Account Token Creator IAM角色授予緊鄰的前一個身份，列表中第一個賬號將此角色授予原始賬號（模板化的）。

REQUIRED_ATTRIBUTES: collections.abc.Iterable[str] = ('instance_id', 'cluster_id', 'nodes')[source]¶

template_fields: collections.abc.Sequence[str] = ('project_id', 'instance_id', 'cluster_id', 'nodes', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id = None[source]¶

instance_id[source]¶

cluster_id[source]¶

nodes[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在建立運算子時派生。

上下文與渲染jinja模板時使用的字典相同。

請參閱 get_template_context 獲取更多上下文。