airflow.providers.amazon.aws.operators.appflow¶

屬性¶

`SUPPORTED_SOURCES`
`MANDATORY_FILTER_DATE_MSG`
`NOT_SUPPORTED_SOURCE_MSG`

類¶

`AppflowBaseOperator`	Amazon AppFlow 基礎運算子類（不應直接在 DAG 中使用）。
`AppflowRunOperator`	按原樣執行一個 AppFlow 執行。
`AppflowRunFullOperator`	執行一個完整的 AppFlow 執行，移除所有過濾器。
`AppflowRunBeforeOperator`	更新過濾器以僅選擇之前的資料後，執行一個 AppFlow 執行。
`AppflowRunAfterOperator`	更新過濾器以僅選擇未來資料後，執行一個 AppFlow 執行。
`AppflowRunDailyOperator`	更新過濾器以僅選擇單個日期後，執行一個 AppFlow 執行。
`AppflowRecordsShortCircuitOperator`	在 AppFlow 執行為空的情況下短路。

模組內容¶

airflow.providers.amazon.aws.operators.appflow.SUPPORTED_SOURCES[source]¶

airflow.providers.amazon.aws.operators.appflow.MANDATORY_FILTER_DATE_MSG = '引數 filter_date 對於 {entity} 是必需的！'[source]¶

airflow.providers.amazon.aws.operators.appflow.NOT_SUPPORTED_SOURCE_MSG = '對於 {entity}，來源 {source} 不受支援！'[source]¶

class airflow.providers.amazon.aws.operators.appflow.AppflowBaseOperator(flow_name, flow_update, source=None, source_field=None, filter_date=None, poll_interval=20, max_attempts=60, wait_for_completion=True, **kwargs)[source]¶

基類: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.appflow.AppflowHook]

Amazon AppFlow 基礎運算子類（不應直接在 DAG 中使用）。

引數:

source (str | None) – 來源名稱（支援：salesforce, zendesk）
flow_name (str) – 流名稱
flow_update (bool) – 在執行前啟用/停用流更新的布林值
source_field (str | None) – 應用過濾器的欄位名稱
filter_date (str | None) – 用於過濾器的日期值（或模板）。
poll_interval (int) – 檢查查詢狀態的間隔秒數
max_attempts (int) – 超時前檢查狀態的最大次數
wait_for_completion (bool) – 是否等待執行結束再返回
aws_conn_id – 用於 AWS 憑據的 Airflow 連線。如果為 None 或空，則使用預設的 boto3 行為。如果以分散式方式執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（必須在每個工作節點上維護）。
region_name – AWS region_name。如果未指定，則使用預設的 boto3 行為。
verify – 是否驗證 SSL 證書。詳見：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – 用於 botocore 客戶端的配置字典（鍵值對）。詳見：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]¶

ui_color = '#2bccbd'[source]¶

template_fields[source]¶

UPDATE_PROPAGATION_TIME: int = 15[source]¶

filter_date = None[source]¶

flow_name[source]¶

source = None[source]¶

source_field = None[source]¶

poll_interval = 20[source]¶

max_attempts = 60[source]¶

flow_update[source]¶

wait_for_completion = True[source]¶

execute(context)[source]¶

建立運算子時派生。

上下文是渲染 jinja 模板時使用的相同字典。

有關更多上下文，請參閱 get_template_context。

class airflow.providers.amazon.aws.operators.appflow.AppflowRunOperator(flow_name, poll_interval=20, wait_for_completion=True, **kwargs)[source]¶

基類: AppflowBaseOperator

按原樣執行一個 AppFlow 執行。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：執行完整流

引數:

flow_name (str) – 流名稱
poll_interval (int) – 檢查查詢狀態的間隔秒數
aws_conn_id – 用於 AWS 憑據的 Airflow 連線。如果為 None 或空，則使用預設的 boto3 行為。如果以分散式方式執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（必須在每個工作節點上維護）。
region – 要使用的 AWS 區域
wait_for_completion (bool) – 是否等待執行結束再返回

class airflow.providers.amazon.aws.operators.appflow.AppflowRunFullOperator(source, flow_name, poll_interval=20, wait_for_completion=True, **kwargs)[source]¶

基類: AppflowBaseOperator

執行一個完整的 AppFlow 執行，移除所有過濾器。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：每日執行流

引數:

source (str) – 來源名稱（支援：salesforce, zendesk）
flow_name (str) – 流名稱
poll_interval (int) – 檢查查詢狀態的間隔秒數
wait_for_completion (bool) – 是否等待執行結束再返回

class airflow.providers.amazon.aws.operators.appflow.AppflowRunBeforeOperator(source, flow_name, source_field, filter_date, poll_interval=20, wait_for_completion=True, **kwargs)[source]¶

基類: AppflowBaseOperator

更新過濾器以僅選擇之前的資料後，執行一個 AppFlow 執行。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：執行流（之後）

引數:

source (str) – 來源名稱（支援：salesforce）
flow_name (str) – 流名稱
source_field (str) – 應用過濾器的欄位名稱
filter_date (str) – 用於過濾器的日期值（或模板）。
poll_interval (int) – 檢查查詢狀態的間隔秒數
aws_conn_id – 用於 AWS 憑據的 Airflow 連線。如果為 None 或空，則使用預設的 boto3 行為。如果以分散式方式執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（必須在每個工作節點上維護）。
region – 要使用的 AWS 區域
wait_for_completion (bool) – 是否等待執行結束再返回

class airflow.providers.amazon.aws.operators.appflow.AppflowRunAfterOperator(source, flow_name, source_field, filter_date, poll_interval=20, wait_for_completion=True, **kwargs)[source]¶

基類: AppflowBaseOperator

更新過濾器以僅選擇未來資料後，執行一個 AppFlow 執行。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：跳過空執行的任務

引數:

source (str) – 來源名稱（支援：salesforce, zendesk）
flow_name (str) – 流名稱
source_field (str) – 應用過濾器的欄位名稱
filter_date (str) – 用於過濾器的日期值（或模板）。
poll_interval (int) – 檢查查詢狀態的間隔秒數
wait_for_completion (bool) – 是否等待執行結束再返回

class airflow.providers.amazon.aws.operators.appflow.AppflowRunDailyOperator(source, flow_name, source_field, filter_date, poll_interval=20, wait_for_completion=True, **kwargs)[source]¶

基類: AppflowBaseOperator

更新過濾器以僅選擇單個日期後，執行一個 AppFlow 執行。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：執行流（之前）

引數:

source (str) – 來源名稱（支援：salesforce）
flow_name (str) – 流名稱
source_field (str) – 應用過濾器的欄位名稱
filter_date (str) – 用於過濾器的日期值（或模板）。
poll_interval (int) – 檢查查詢狀態的間隔秒數
wait_for_completion (bool) – 是否等待執行結束再返回

class airflow.providers.amazon.aws.operators.appflow.AppflowRecordsShortCircuitOperator(*, flow_name, appflow_run_task_id, ignore_downstream_trigger_rules=True, aws_conn_id='aws_default', region_name=None, verify=None, botocore_config=None, **kwargs)[source]¶

基類: airflow.providers.common.compat.standard.operators.ShortCircuitOperator, airflow.providers.amazon.aws.utils.mixins.AwsBaseHookMixin[airflow.providers.amazon.aws.hooks.appflow.AppflowHook]

在 AppFlow 執行為空的情況下短路。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：參考

引數:

flow_name (str) – 流名稱
appflow_run_task_id (str) – 該運算子應從中提取執行 ID 的執行任務 ID
ignore_downstream_trigger_rules (bool) – 忽略下游觸發規則
aws_conn_id (str | None) – 用於 AWS 憑據的 Airflow 連線。如果為 None 或空，則使用預設的 boto3 行為。如果以分散式方式執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（必須在每個工作節點上維護）。
region_name (str | None) – AWS region_name。如果未指定，則使用預設的 boto3 行為。
verify (bool | str | None) – 是否驗證 SSL 證書。詳見：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config (dict | None) – 用於 botocore 客戶端的配置字典（鍵值對）。詳見：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]¶

template_fields[source]¶

ui_color = '#33ffec'[source]¶

aws_conn_id[source]¶

region_name[source]¶

verify[source]¶

botocore_config[source]¶