• 主頁
• airflow.providers.amazon
• airflow.providers.amazon.aws
• airflow.providers.amazon.aws.sensors
• airflow.providers.amazon.aws.sensors.bedrock

airflow.providers.amazon.aws.sensors.bedrock

類

BedrockBaseSensor	Amazon Bedrock 的通用感測器行為。
BedrockCustomizeModelCompletedSensor	輪詢模型定製作業的狀態，直到達到終端狀態；如果作業失敗則標記失敗。
BedrockProvisionModelThroughputCompletedSensor	輪詢預置模型吞吐量作業，直到達到終端狀態；如果作業失敗則標記失敗。
BedrockKnowledgeBaseActiveSensor	輪詢知識庫狀態，直到達到終端狀態；如果建立失敗則標記失敗。
BedrockIngestionJobSensor	輪詢注入作業狀態，直到達到終端狀態；如果建立失敗則標記失敗。
BedrockBatchInferenceSensor	輪詢批次推理作業狀態，直到達到終端狀態；如果建立失敗則標記失敗。

模組內容

class airflow.providers.amazon.aws.sensors.bedrock.BedrockBaseSensor(deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)

Bases: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[_GenericBedrockHook]

Amazon Bedrock 的通用感測器行為。

子類必須實現以下方法

• get_state()

子類必須設定以下欄位

• INTERMEDIATE_STATES

• FAILURE_STATES

• SUCCESS_STATES

• FAILURE_MESSAGE

引數:

deferrable (bool) – 如果為 True，感測器將以可延遲模式執行。此模式需要安裝 aiobotocore 模組。（預設為 False，但可以透過在配置檔案中設定 default_deferrable 為 True 來覆蓋）

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ()

FAILURE_STATES: tuple[str, Ellipsis] = ()

SUCCESS_STATES: tuple[str, Ellipsis] = ()

FAILURE_MESSAGE = ''

aws_hook_class: type[_GenericBedrockHook]

ui_color = '#66c3ff'

deferrable = True

poke(context, **kwargs)

派生此類時重寫此方法。

abstract get_state()

在子類中實現。

class airflow.providers.amazon.aws.sensors.bedrock.BedrockCustomizeModelCompletedSensor(*, job_name, max_retries=75, poke_interval=120, **kwargs)

Bases: BedrockBaseSensor[airflow.providers.amazon.aws.hooks.bedrock.BedrockHook]

輪詢模型定製作業的狀態，直到達到終端狀態；如果作業失敗則標記失敗。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南： 等待 Amazon Bedrock 定製模型作業

引數:

• job_name (str) – Bedrock 模型定製作業的名稱。

• deferrable – 如果為 True，感測器將以可延遲模式執行。此模式需要安裝 aiobotocore 模組。（預設為 False，但可以透過在配置檔案中設定 default_deferrable 為 True 來覆蓋）

• poke_interval (int) – 檢查作業狀態的輪詢週期（秒）。（預設為 120）

• max_retries (int) – 返回當前狀態之前的重試次數。（預設為 75）

• aws_conn_id – 用於 AWS 憑證的 Airflow 連線。如果為 None 或空字串，則使用預設的 boto3 行為。如果在分散式環境中執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（並且必須在每個工作節點上維護）。

• region_name – AWS 區域名稱。如果未指定，則使用預設的 boto3 行為。

• verify – 是否驗證 SSL 證書。請參閱： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客戶端的配置字典（鍵值對）。請參閱： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('InProgress',)

FAILURE_STATES: tuple[str, Ellipsis] = ('Failed', 'Stopping', 'Stopped')

SUCCESS_STATES: tuple[str, Ellipsis] = ('Completed',)

FAILURE_MESSAGE = 'Bedrock model customization job sensor failed.'

aws_hook_class

template_fields: collections.abc.Sequence[str]

poke_interval = 120

max_retries = 75

job_name

execute(context)

建立 Operator 時派生此方法。

執行任務的主要方法。Context 與用於渲染 jinja 模板的字典相同。

更多上下文請參閱 get_template_context。

get_state()

在子類中實現。

class airflow.providers.amazon.aws.sensors.bedrock.BedrockProvisionModelThroughputCompletedSensor(*, model_id, poke_interval=60, max_retries=20, **kwargs)

Bases: BedrockBaseSensor[airflow.providers.amazon.aws.hooks.bedrock.BedrockHook]

輪詢預置模型吞吐量作業，直到達到終端狀態；如果作業失敗則標記失敗。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南： 等待 Amazon Bedrock 預置模型吞吐量作業

引數:

• model_id (str) – 預置吞吐量的 ARN 或名稱。

• deferrable – 如果為 True，感測器將以可延遲模式執行。此模式需要安裝 aiobotocore 模組。（預設為 False，但可以透過在配置檔案中設定 default_deferrable 為 True 來覆蓋）

• poke_interval (int) – 檢查作業狀態的輪詢週期（秒）。（預設為 60）

• max_retries (int) – 返回當前狀態之前的重試次數（預設為 20）

• aws_conn_id – 用於 AWS 憑證的 Airflow 連線。如果為 None 或空字串，則使用預設的 boto3 行為。如果在分散式環境中執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（並且必須在每個工作節點上維護）。

• region_name – AWS 區域名稱。如果未指定，則使用預設的 boto3 行為。

• verify – 是否驗證 SSL 證書。請參閱： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客戶端的配置字典（鍵值對）。請參閱： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('Creating', 'Updating')

FAILURE_STATES: tuple[str, Ellipsis] = ('Failed',)

SUCCESS_STATES: tuple[str, Ellipsis] = ('InService',)

FAILURE_MESSAGE = 'Bedrock provision model throughput sensor failed.'

aws_hook_class

template_fields: collections.abc.Sequence[str]

poke_interval = 60¶

max_retries = 20

model_id

get_state()

在子類中實現。

execute(context)

建立 Operator 時派生此方法。

執行任務的主要方法。Context 與用於渲染 jinja 模板的字典相同。

更多上下文請參閱 get_template_context。

class airflow.providers.amazon.aws.sensors.bedrock.BedrockKnowledgeBaseActiveSensor(*, knowledge_base_id, poke_interval=5, max_retries=24, **kwargs)

Bases: BedrockBaseSensor[airflow.providers.amazon.aws.hooks.bedrock.BedrockAgentHook]

輪詢知識庫狀態，直到達到終端狀態；如果建立失敗則標記失敗。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南： 等待 Amazon Bedrock 知識庫

引數:

• knowledge_base_id (str) – 要獲取資訊的知識庫的唯一識別符號。（模板化）

• deferrable – 如果為 True，感測器將以可延遲模式執行。此模式需要安裝 aiobotocore 模組。（預設為 False，但可以透過在配置檔案中設定 default_deferrable 為 True 來覆蓋）

• poke_interval (int) – 檢查作業狀態的輪詢週期（秒）。（預設為 5）

• max_retries (int) – 返回當前狀態之前的重試次數（預設為 24）

• aws_conn_id – 用於 AWS 憑證的 Airflow 連線。如果為 None 或空字串，則使用預設的 boto3 行為。如果在分散式環境中執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（並且必須在每個工作節點上維護）。

• region_name – AWS 區域名稱。如果未指定，則使用預設的 boto3 行為。

• verify – 是否驗證 SSL 證書。請參閱： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客戶端的配置字典（鍵值對）。請參閱： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('CREATING', 'UPDATING')

FAILURE_STATES: tuple[str, Ellipsis] = ('DELETING', 'FAILED')

SUCCESS_STATES: tuple[str, Ellipsis] = ('ACTIVE',)

FAILURE_MESSAGE = 'Bedrock Knowledge Base Active sensor failed.'

aws_hook_class

template_fields: collections.abc.Sequence[str]

poke_interval = 5

max_retries = 24

knowledge_base_id

get_state()

在子類中實現。

execute(context)

建立 Operator 時派生此方法。

執行任務的主要方法。Context 與用於渲染 jinja 模板的字典相同。

更多上下文請參閱 get_template_context。

class airflow.providers.amazon.aws.sensors.bedrock.BedrockIngestionJobSensor(*, knowledge_base_id, data_source_id, ingestion_job_id, poke_interval=60, max_retries=10, **kwargs)

Bases: BedrockBaseSensor[airflow.providers.amazon.aws.hooks.bedrock.BedrockAgentHook]

輪詢注入作業狀態，直到達到終端狀態；如果建立失敗則標記失敗。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南：等待 Amazon Bedrock 提取作業完成

引數:

• knowledge_base_id (str) – 要獲取資訊的知識庫的唯一識別符號。（模板化）

• data_source_id (str) – 提取作業中資料來源的唯一識別符號。(templated)

• ingestion_job_id (str) – 提取作業的唯一識別符號。(templated)

• deferrable – 如果為 True，感測器將以可延遲模式執行。此模式需要安裝 aiobotocore 模組。（預設為 False，但可以透過在配置檔案中設定 default_deferrable 為 True 來覆蓋）

• poke_interval (int) – 檢查作業狀態的輪詢週期（秒）。（預設為 60）

• max_retries (int) – 在返回當前狀態之前的重試次數（預設值：10）

• aws_conn_id – 用於 AWS 憑證的 Airflow 連線。如果為 None 或空字串，則使用預設的 boto3 行為。如果在分散式環境中執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（並且必須在每個工作節點上維護）。

• region_name – AWS 區域名稱。如果未指定，則使用預設的 boto3 行為。

• verify – 是否驗證 SSL 證書。請參閱： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客戶端的配置字典（鍵值對）。請參閱： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('STARTING', 'IN_PROGRESS')

FAILURE_STATES: tuple[str, Ellipsis] = ('FAILED',)

SUCCESS_STATES: tuple[str, Ellipsis] = ('COMPLETE',)

FAILURE_MESSAGE = 'Bedrock ingestion job sensor failed.'

aws_hook_class

template_fields: collections.abc.Sequence[str]

poke_interval = 60

max_retries = 10

knowledge_base_id

data_source_id

ingestion_job_id

get_state()

在子類中實現。

execute(context)

建立 Operator 時派生此方法。

執行任務的主要方法。Context 與用於渲染 jinja 模板的字典相同。

更多上下文請參閱 get_template_context。

class airflow.providers.amazon.aws.sensors.bedrock.BedrockBatchInferenceSensor(*, job_arn, success_state=SuccessState.SCHEDULED, poke_interval=120, max_retries=75, **kwargs)

Bases: BedrockBaseSensor[airflow.providers.amazon.aws.hooks.bedrock.BedrockHook]

輪詢批次推理作業狀態，直到達到終端狀態；如果建立失敗則標記失敗。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南：等待 Amazon Bedrock 批次推理作業

引數:

• job_arn (str) – 批次推理作業的 Amazon Resource Name (ARN)。(templated)

• success_state (SuccessState | str) – BedrockBatchInferenceSensor.TargetState 的一個狀態；預設為 ‘SCHEDULED’。(templated)

• deferrable – 如果為 True，感測器將以可延遲模式執行。此模式需要安裝 aiobotocore 模組。（預設為 False，但可以透過在配置檔案中設定 default_deferrable 為 True 來覆蓋）

• poke_interval (int) – 檢查作業狀態的輪詢週期（秒）。（預設為 5）

• max_retries (int) – 返回當前狀態之前的重試次數（預設為 24）

• aws_conn_id – 用於 AWS 憑證的 Airflow 連線。如果為 None 或空字串，則使用預設的 boto3 行為。如果在分散式環境中執行 Airflow 且 aws_conn_id 為 None 或空，則將使用預設的 boto3 配置（並且必須在每個工作節點上維護）。

• region_name – AWS 區域名稱。如果未指定，則使用預設的 boto3 行為。

• verify – 是否驗證 SSL 證書。請參閱： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客戶端的配置字典（鍵值對）。請參閱： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

class SuccessState

BedrockBatchInferenceSensor 的目標狀態。

Bedrock 將批次推理作業新增到佇列中，可能需要一些時間才能完成。如果您想等待作業完成，請使用 TargetState.COMPLETED；但如果您只想等待服務確認作業已進入佇列，請使用 TargetState.SCHEDULED。

正常的成功狀態流程為

Submitted > Validating > Scheduled > InProgress > PartiallyCompleted > Completed

SCHEDULED = 'scheduled'

COMPLETED = 'completed'

INTERMEDIATE_STATES: tuple[str, Ellipsis]

FAILURE_STATES: tuple[str, Ellipsis] = ('Failed', 'Stopped', 'PartiallyCompleted', 'Expired')

SUCCESS_STATES: tuple[str, Ellipsis]

FAILURE_MESSAGE = 'Bedrock batch inference job sensor failed.'

INVALID_SUCCESS_STATE_MESSAGE = 'success_state must be an instance of TargetState.'

aws_hook_class

template_fields: collections.abc.Sequence[str]

poke_interval = 120

max_retries = 75

job_arn

success_state

trigger_class: type[airflow.providers.amazon.aws.triggers.bedrock.BedrockBaseBatchInferenceTrigger]

get_state()

在子類中實現。

execute(context)

建立 Operator 時派生此方法。

執行任務的主要方法。Context 與用於渲染 jinja 模板的字典相同。

更多上下文請參閱 get_template_context。

上一頁 下一頁

此條目有幫助嗎？