airflow.providers.google.cloud.hooks.managed_kafka¶

此模組包含 Managed Service for Apache Kafka Hook。

類¶

`ManagedKafkaTokenProvider`	用於為透過 confluent 與 Google Cloud 管理的 Apache Kafka 叢集建立連線提供認證令牌的輔助工具。
`ManagedKafkaHook`	Managed Service for Apache Kafka API 的 Hook。

模組內容¶

class airflow.providers.google.cloud.hooks.managed_kafka.ManagedKafkaTokenProvider(credentials)[source]¶

用於為透過 confluent 與 Google Cloud 管理的 Apache Kafka 叢集建立連線提供認證令牌的輔助工具。

confluent_token()[source]¶

class airflow.providers.google.cloud.hooks.managed_kafka.ManagedKafkaHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.common.hooks.base_google.GoogleBaseHook

Managed Service for Apache Kafka API 的 Hook。

get_managed_kafka_client()[source]¶

返回 ManagedKafkaClient 物件。

wait_for_operation(operation, timeout=None)[source]¶

等待長期執行的操作完成。

get_confluent_token(config_str)[source]¶

獲取 confluent 客戶端的認證令牌。

create_cluster(project_id, location, cluster, cluster_id, request_id=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

建立一個新的 Apache Kafka 叢集。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster (google.cloud.managedkafka_v1.types.Cluster | dict) – 必需。要建立的叢集的配置。其 name 欄位將被忽略。
cluster_id (str) – 必需。要用於叢集的 ID，它將成為叢集名稱的最後一個組成部分。ID 必須是 1-63 個字元長，並且符合正則表示式 [a-z]([-a-z0-9]*[a-z0-9])? 以符合 RFC 1035。此值的結構類似於：my-cluster-id。
request_id (str | None) – 可選。用於標識請求的可選請求 ID。指定唯一的請求 ID 以避免請求重複。如果請求超時或失敗，使用相同的 ID 重試允許伺服器識別先前的嘗試。在至少 60 分鐘內，伺服器會忽略帶有相同 ID 的重複請求。例如，考慮您發起一個初始請求且該請求超時的情景。如果您在上次請求的 60 分鐘內使用相同的請求 ID 再次發起請求，伺服器會檢查是否收到了帶有相同請求 ID 的原始操作。如果收到，伺服器會忽略第二個請求。請求 ID 必須是有效的 UUID。不支援零 UUID (00000000-0000-0000-0000-000000000000)。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

list_clusters(project_id, location, page_size=None, page_token=None, filter=None, order_by=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

列出給定專案和位置中的叢集。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
page_size (int | None) – 可選。要返回的最大叢集數。服務可能會返回少於此值的叢集。如果未指定，伺服器將選擇一個適當的預設值。
page_token (str | None) – 可選。一個頁面令牌，從先前的 ListClusters 呼叫接收。提供此令牌以檢索後續頁面。分頁時，提供給 ListClusters 的所有其他引數必須與提供頁面令牌的呼叫匹配。
filter (str | None) – 可選。結果的過濾表示式。
order_by (str | None) – 可選。結果的排序欄位。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

get_cluster(project_id, location, cluster_id, retry=DEFAULT, timeout=None, metadata=())[source]¶

返回單個叢集的屬性。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster_id (str) – 必需。要返回其配置的叢集 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

update_cluster(project_id, location, cluster_id, cluster, update_mask, request_id=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

更新單個叢集的屬性。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster_id (str) – 必需。要更新其配置的叢集 ID。
cluster (google.cloud.managedkafka_v1.types.Cluster | dict) – 必需。要更新的叢集。
update_mask (google.protobuf.field_mask_pb2.FieldMask | dict) – 必需。欄位掩碼用於指定在更新時要覆蓋叢集資源中的欄位。update_mask 中指定的欄位是相對於資源而言，而不是相對於完整請求。如果欄位在掩碼中，它將被覆蓋。
request_id (str | None) – 可選。用於標識請求的可選請求 ID。指定唯一的請求 ID 以避免請求重複。如果請求超時或失敗，使用相同的 ID 重試允許伺服器識別先前的嘗試。在至少 60 分鐘內，伺服器會忽略帶有相同 ID 的重複請求。例如，考慮您發起一個初始請求且該請求超時的情景。如果您在上次請求的 60 分鐘內使用相同的請求 ID 再次發起請求，伺服器會檢查是否收到了帶有相同請求 ID 的原始操作。如果收到，伺服器會忽略第二個請求。請求 ID 必須是有效的 UUID。不支援零 UUID (00000000-0000-0000-0000-000000000000)。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

delete_cluster(project_id, location, cluster_id, request_id=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

刪除單個叢集。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster_id (str) – 必需。要刪除的叢集 ID。
request_id (str | None) – 可選。用於標識請求的可選請求 ID。指定唯一的請求 ID 以避免請求重複。如果請求超時或失敗，使用相同的 ID 重試允許伺服器識別先前的嘗試。在至少 60 分鐘內，伺服器會忽略帶有相同 ID 的重複請求。例如，考慮您發起一個初始請求且該請求超時的情景。如果您在上次請求的 60 分鐘內使用相同的請求 ID 再次發起請求，伺服器會檢查是否收到了帶有相同請求 ID 的原始操作。如果收到，伺服器會忽略第二個請求。請求 ID 必須是有效的 UUID。不支援零 UUID (00000000-0000-0000-0000-000000000000)。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

create_topic(project_id, location, cluster_id, topic_id, topic, retry=DEFAULT, timeout=None, metadata=())[source]¶

在給定的專案和位置中建立一個新主題。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster_id (str) – 必需。要在其中建立主題的叢集 ID。
topic_id (str) – 必需。要用於主題的 ID，它將成為主題名稱的最後一個組成部分。
topic (google.cloud.managedkafka_v1.types.Topic | dict) – 必需。要建立的主題的配置。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

list_topics(project_id, location, cluster_id, page_size=None, page_token=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

列出給定叢集中的主題。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster_id (str) – 必需。要列出其主題的叢集 ID。
page_size (int | None) – 可選。要返回的最大主題數。服務可能會返回少於此值的主題。如果未設定或為零，則返回父級的所有主題。
page_token (str | None) – 可選。一個頁面令牌，從先前的 ListTopics 呼叫接收。提供此令牌以檢索後續頁面。分頁時，提供給 ListTopics 的所有其他引數必須與提供頁面令牌的呼叫匹配。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

get_topic(project_id, location, cluster_id, topic_id, retry=DEFAULT, timeout=None, metadata=())[source]¶

返回單個主題的屬性。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster_id (str) – 必需。要返回其主題的叢集 ID。
topic_id (str) – 必需。要返回其配置的主題 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

update_topic(project_id, location, cluster_id, topic_id, topic, update_mask, retry=DEFAULT, timeout=None, metadata=())[source]¶

更新單個主題的屬性。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster_id (str) – 必需。要更新其主題的叢集 ID。
topic_id (str) – 必需。要更新其配置的主題 ID。
topic (google.cloud.managedkafka_v1.types.Topic | dict) – 必需。要更新的主題。其 name 欄位必須已填充。
update_mask (google.protobuf.field_mask_pb2.FieldMask | dict) – 必需。欄位掩碼用於指定在更新時要覆蓋 Topic 資源中的欄位。update_mask 中指定的欄位是相對於資源而言，而不是相對於完整請求。如果欄位在掩碼中，它將被覆蓋。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

delete_topic(project_id, location, cluster_id, topic_id, retry=DEFAULT, timeout=None, metadata=())[source]¶

刪除單個主題。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster_id (str) – 必需。要刪除其主題的叢集 ID。
topic_id (str) – 必需。要刪除的主題 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

list_consumer_groups(project_id, location, cluster_id, page_size=None, page_token=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

列出給定叢集中的消費者組。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster_id (str) – 必需。要列出其消費者組的叢集 ID。
page_size (int | None) – 可選。要返回的最大消費者組數。服務可能會返回少於此值。如果未設定或為零，則返回父級的所有消費者組。
page_token (str | None) – 可選。一個頁面令牌，從先前的 ListConsumerGroups 呼叫接收。提供此令牌以檢索後續頁面。分頁時，提供給 ListConsumerGroups 的所有其他引數必須與提供頁面令牌的呼叫匹配。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

get_consumer_group(project_id, location, cluster_id, consumer_group_id, retry=DEFAULT, timeout=None, metadata=())[source]¶

返回單個消費者組的屬性。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster_id (str) – 必需。要返回其消費者組的叢集 ID。
consumer_group_id (str) – 必需。要返回其配置的消費者組 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

update_consumer_group(project_id, location, cluster_id, consumer_group_id, consumer_group, update_mask, retry=DEFAULT, timeout=None, metadata=())[source]¶

更新單個消費者組的屬性。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster_id (str) – 必需。要更新其主題的叢集 ID。
consumer_group_id (str) – 必需。要更新其配置的消費者組 ID。
consumer_group (google.cloud.managedkafka_v1.types.ConsumerGroup | dict) – 必需。要更新的 consumer_group。其 name 欄位必須已填充。
update_mask (google.protobuf.field_mask_pb2.FieldMask | dict) – 必需。欄位掩碼用於指定在更新時要覆蓋 ConsumerGroup 資源中的欄位。update_mask 中指定的欄位是相對於資源而言，而不是相對於完整請求。如果欄位在掩碼中，它將被覆蓋。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。

delete_consumer_group(project_id, location, cluster_id, consumer_group_id, retry=DEFAULT, timeout=None, metadata=())[source]¶

刪除單個消費者組。

引數：

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
location (str) – 必需。服務所屬的 Google Cloud 區域 ID。
cluster_id (str) – 必需。要刪除其消費者組的叢集 ID。
consumer_group_id (str) – 必需。要刪除的消費者組 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應該重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應隨請求一起傳送作為元資料的字串。