airflow.providers.google.cloud.operators.cloud_batch¶
類¶
提交一個作業並等待其完成。 |
|
刪除一個作業並等待操作完成。 |
|
列出 Cloud Batch 作業。 |
|
列出給定作業的 Cloud Batch 任務。 |
模組內容¶
- class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchSubmitJobOperator(project_id, region, job_name, job, polling_period_seconds=10, timeout_seconds=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]¶
基類:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator提交一個作業並等待其完成。
- 引數:
project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
region (str) – 必需。服務所屬的 Google Cloud 區域 ID。
job_name (str) – 必需。要建立的作業名稱。
job (dict | google.cloud.batch_v1.Job) – 必需。包含要提交作業配置的作業描述符。
polling_period_seconds (float) – 可選：控制可延遲執行結果的輪詢速率。預設情況下，觸發器每 10 秒輪詢一次。
timeout – 此請求的超時時間。
gcp_conn_id (str) – 用於連線到 Google Cloud 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者所需賬號的鏈式列表，以獲取列表中最後一個賬號的 access_token，該 token 將在請求中被模擬使用。如果設定為字串，該賬號必須授予原始賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號授予原始賬號此角色（模板化）。
deferrable (bool) – 以可延遲模式執行 Operator
- template_fields = ('project_id', 'region', 'gcp_conn_id', 'impersonation_chain', 'job_name')[source]¶
- class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchDeleteJobOperator(project_id, region, job_name, timeout=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶
基類:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator刪除一個作業並等待操作完成。
- 引數:
project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
region (str) – 必需。服務所屬的 Google Cloud 區域 ID。
job_name (str) – 必需。要刪除的作業名稱。
timeout (float | None) – 此請求的超時時間。
gcp_conn_id (str) – 用於連線到 Google Cloud 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者所需賬號的鏈式列表，以獲取列表中最後一個賬號的 access_token，該 token 將在請求中被模擬使用。如果設定為字串，該賬號必須授予原始賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號授予原始賬號此角色（模板化）。
- class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchListJobsOperator(project_id, region, gcp_conn_id='google_cloud_default', filter=None, limit=None, impersonation_chain=None, **kwargs)[source]¶
基類:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator列出 Cloud Batch 作業。
- 引數:
project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
region (str) – 必需。服務所屬的 Google Cloud 區域 ID。
gcp_conn_id (str) – 用於連線到 Google Cloud 的連線 ID。
filter (str | None) – 用於列出作業的過濾器。如果留空，則列出所有作業。
limit (int | None) – 要列出的作業數量。如果留空，將返回所有匹配過濾器的作業。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者所需賬號的鏈式列表，以獲取列表中最後一個賬號的 access_token，該 token 將在請求中被模擬使用。如果設定為字串，該賬號必須授予原始賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號授予原始賬號此角色（模板化）。
- class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchListTasksOperator(project_id, region, job_name, gcp_conn_id='google_cloud_default', impersonation_chain=None, group_name='group0', filter=None, limit=None, **kwargs)[source]¶
基類:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator列出給定作業的 Cloud Batch 任務。
- 引數:
project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
region (str) – 必需。服務所屬的 Google Cloud 區域 ID。
job_name (str) – 必需。要列出任務的作業名稱。
gcp_conn_id (str) – 用於連線到 Google Cloud 的連線 ID。
filter (str | None) – 用於列出作業的過濾器。如果留空，則列出所有作業。
group_name (str) – 擁有該任務的組名稱。預設為 group0。
limit (int | None) – 要列出的任務數量。如果留空，將返回所有匹配過濾器的任務。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或者所需賬號的鏈式列表，以獲取列表中最後一個賬號的 access_token，該 token 將在請求中被模擬使用。如果設定為字串，該賬號必須授予原始賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號授予原始賬號此角色（模板化）。