airflow.providers.google.cloud.operators.cloud_composer¶

屬性¶

`CLOUD_COMPOSER_BASE_LINK`
`CLOUD_COMPOSER_DETAILS_LINK`
`CLOUD_COMPOSER_ENVIRONMENTS_LINK`

類¶

`CloudComposerEnvironmentLink`	構建 Cloud Composer 環境連結的輔助類。
`CloudComposerEnvironmentsLink`	構建 Cloud Composer 環境連結的輔助類。
`CloudComposerCreateEnvironmentOperator`	建立一個新環境。
`CloudComposerDeleteEnvironmentOperator`	刪除一個環境。
`CloudComposerGetEnvironmentOperator`	獲取現有環境。
`CloudComposerListEnvironmentsOperator`	列出環境。
`CloudComposerUpdateEnvironmentOperator`	更新一個環境。
`CloudComposerListImageVersionsOperator`	列出指定位置的 ImageVersions。
`CloudComposerRunAirflowCLICommandOperator`	對指定的 Composer 環境執行 Airflow 命令。

模組內容¶

airflow.providers.google.cloud.operators.cloud_composer.CLOUD_COMPOSER_BASE_LINK = 'https://console.cloud.google.com/composer/environments'[source]¶

airflow.providers.google.cloud.operators.cloud_composer.CLOUD_COMPOSER_DETAILS_LINK = 'https://console.cloud.google.com/composer/environments/detail/{region}/{environment_id}/monitori...[source]¶

airflow.providers.google.cloud.operators.cloud_composer.CLOUD_COMPOSER_ENVIRONMENTS_LINK = 'https://console.cloud.google.com/composer/environments?project={project_id}'[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerEnvironmentLink[source]¶

Bases: airflow.providers.google.cloud.links.base.BaseGoogleLink

構建 Cloud Composer 環境連結的輔助類。

name = 'Cloud Composer Environment'[source]¶: 連結的名稱。這將是任務 UI 上的按鈕名稱。

key = 'composer_conf'[source]¶

format_str = 'https://console.cloud.google.com/composer/environments/detail/{region}/{environment_id}/monitori...[source]¶

static persist(operator_instance, context)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerEnvironmentsLink[source]¶

Bases: airflow.providers.google.cloud.links.base.BaseGoogleLink

構建 Cloud Composer 環境連結的輔助類。

name = 'Cloud Composer 環境列表'[source]¶: 連結的名稱。這將是任務 UI 上的按鈕名稱。

key = 'composer_conf'[source]¶

format_str = 'https://console.cloud.google.com/composer/environments?project={project_id}'[source]¶

static persist(operator_instance, context)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerCreateEnvironmentOperator(*, project_id, region, environment_id, environment, gcp_conn_id='google_cloud_default', impersonation_chain=None, retry=DEFAULT, timeout=None, metadata=(), deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立一個新環境。

引數:

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
region (str) – 必需。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必需。服務所屬的 Google Cloud 環境 ID。
environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) – 要建立的環境。
gcp_conn_id (str)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或獲取列表中最後一個賬號的 access_token 所需的賬號鏈，該賬號將用於請求中的模擬。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為元資料傳送的字串。
deferrable (bool) – 以 deferrable 模式執行操作器
pooling_period_seconds (int) – 可選：控制 deferrable 執行結果的輪詢速率。預設情況下，觸發器將每 30 秒輪詢一次。

template_fields = ('project_id', 'region', 'environment_id', 'environment', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

environment_id[source]¶

environment[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

deferrable = True[source]¶

pooling_period_seconds = 30[source]¶

execute(context)[source]¶

建立操作器時派生。

上下文與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

execute_complete(context, event)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerDeleteEnvironmentOperator(*, project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除一個環境。

引數:

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
region (str) – 必需。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必需。服務所屬的 Google Cloud 環境 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為元資料傳送的字串。
gcp_conn_id (str)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或獲取列表中最後一個賬號的 access_token 所需的賬號鏈，該賬號將用於請求中的模擬。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。
deferrable (bool) – 以 deferrable 模式執行操作器
pooling_period_seconds (int) – 可選：控制 deferrable 執行結果的輪詢速率。預設情況下，觸發器將每 30 秒輪詢一次。

template_fields = ('project_id', 'region', 'environment_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

environment_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

deferrable = True[source]¶

pooling_period_seconds = 30[source]¶

execute(context)[source]¶

建立操作器時派生。

上下文與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

execute_complete(context, event)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerGetEnvironmentOperator(*, project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

獲取現有環境。

引數:

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
region (str) – 必需。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必需。服務所屬的 Google Cloud 環境 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為元資料傳送的字串。
gcp_conn_id (str)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或獲取列表中最後一個賬號的 access_token 所需的賬號鏈，該賬號將用於請求中的模擬。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。

template_fields = ('project_id', 'region', 'environment_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

environment_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立操作器時派生。

上下文與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerListEnvironmentsOperator(*, project_id, region, page_size=None, page_token=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出環境。

引數:

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
region (str) – 必需。服務所屬的 Google Cloud 區域 ID。
page_size (int | None) – 要返回的最大環境數。
page_token (str | None) – 如果有，則為之前 List 請求返回的 `next_page_token` 值。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為元資料傳送的字串。
gcp_conn_id (str)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或獲取列表中最後一個賬號的 access_token 所需的賬號鏈，該賬號將用於請求中的模擬。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。

template_fields = ('project_id', 'region', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

page_size = None[source]¶

page_token = None[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立操作器時派生。

上下文與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerUpdateEnvironmentOperator(*, project_id, region, environment_id, environment, update_mask, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

更新一個環境。

引數:

project_id (str) – 必需。服務所屬的 Google Cloud 專案 ID。
region (str) – 必需。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必需。服務所屬的 Google Cloud 環境 ID。
environment (dict | google.cloud.orchestration.airflow.service_v1.types.Environment) – 補丁環境。`updateMask` 指定的欄位將從補丁環境複製到待更新的環境中。
update_mask (dict | google.protobuf.field_mask_pb2.FieldMask) – 必需。一個逗號分隔的路徑列表，相對於 `Environment`，表示要更新的欄位。如果提供的是字典，其形式必須與 protobuf 訊息 FieldMask 相同。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為元資料傳送的字串。
gcp_conn_id (str)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或獲取列表中最後一個賬號的 access_token 所需的賬號鏈，該賬號將用於請求中的模擬。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。
deferrable (bool) – 以 deferrable 模式執行操作器
pooling_period_seconds (int) – 可選：控制 deferrable 執行結果的輪詢速率。預設情況下，觸發器將每 30 秒輪詢一次。

template_fields = ('project_id', 'region', 'environment_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

environment_id[source]¶

environment[source]¶

update_mask[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

deferrable = True[source]¶

pooling_period_seconds = 30[source]¶

execute(context)[source]¶

建立操作器時派生。

上下文與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

execute_complete(context, event)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerListImageVersionsOperator(*, project_id, region, page_size=None, page_token=None, include_past_releases=False, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出指定位置的 ImageVersions。

引數:

request – 請求物件。列出專案和位置中的 ImageVersion。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為元資料傳送的字串。
gcp_conn_id (str)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或獲取列表中最後一個賬號的 access_token 所需的賬號鏈，該賬號將用於請求中的模擬。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。

template_fields = ('project_id', 'region', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

page_size = None[source]¶

page_token = None[source]¶

include_past_releases = False[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

建立操作器時派生。

上下文與渲染 jinja 模板時使用的字典相同。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerRunAirflowCLICommandOperator(*, project_id, region, environment_id, command, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=10, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

對指定的 Composer 環境執行 Airflow 命令。

引數:

project_id (str) – 服務所屬的 Google Cloud 專案 ID。
region (str) – 服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 服務所屬的 Google Cloud 環境 ID。
command (str) – Airflow 命令。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些錯誤（如果有）應重試。
timeout (float | None) – 此請求的超時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為元資料傳送的字串。
gcp_conn_id (str) – 用於連線 Google Cloud Platform 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號，用於使用短期憑據進行模擬，或獲取列表中最後一個賬號的 access_token 所需的賬號鏈，該賬號將用於請求中的模擬。如果設定為字串，該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列，列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色，列表中第一個賬號將此角色授予發起賬號（模板化）。
deferrable (bool) – 以 deferrable 模式執行操作器
poll_interval (int) – 可選：控制可延遲執行結果的輪詢速率。預設情況下，觸發器將每 10 秒輪詢一次。