• 主頁
• airflow.providers.amazon
• airflow.providers.amazon.aws
• airflow.providers.amazon.aws.sensors
• airflow.providers.amazon.aws.sensors.sagemaker

airflow.providers.amazon.aws.sensors.sagemaker

類

SageMakerBaseSensor	包含 SageMaker 的通用感測器行為。
SageMakerEndpointSensor	輪詢端點狀態直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。
SageMakerTransformSensor	輪詢轉換作業直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。
SageMakerTuningSensor	輪詢調優狀態直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。
SageMakerTrainingSensor	輪詢訓練作業直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。
SageMakerPipelineSensor	輪詢流水線直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。
SageMakerAutoMLSensor	輪詢 AutoML 作業直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。
SageMakerProcessingSensor	輪詢處理作業直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。

模組內容

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerBaseSensor(*, aws_conn_id='aws_default', resource_type='job', **kwargs)

基類: airflow.sensors.base.BaseSensorOperator

包含 SageMaker 的通用感測器行為。

子類應該實現 get_sagemaker_response() 和 state_from_response() 方法。子類也應該實現 non_terminal_states() 和 failed_states() 方法。

ui_color = '#ededed'

aws_conn_id = 'aws_default'

resource_type = 'job'

property hook: airflow.providers.amazon.aws.hooks.sagemaker.SageMakerHook

poke(context)

派生此類時重寫。

abstract non_terminal_states()

返回不應終止的狀態。

abstract failed_states()

返回被認為是失敗的狀態。

abstract get_sagemaker_response()

檢查 SageMaker 任務的狀態。

get_failed_reason_from_response(response)

從 AWS 響應中提取失敗原因。

abstract state_from_response(response)

從 AWS 響應中提取狀態。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerEndpointSensor(*, endpoint_name, **kwargs)

基類: SageMakerBaseSensor

輪詢端點狀態直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南： 等待 Amazon SageMaker 端點狀態

引數:

endpoint_name – 要監視的端點例項的名稱。

template_fields: collections.abc.Sequence[str] = ('endpoint_name',)

template_ext: collections.abc.Sequence[str] = ()

endpoint_name

non_terminal_states()

返回不應終止的狀態。

failed_states()

返回被認為是失敗的狀態。

get_sagemaker_response()

檢查 SageMaker 任務的狀態。

get_failed_reason_from_response(response)

從 AWS 響應中提取失敗原因。

state_from_response(response)

從 AWS 響應中提取狀態。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerTransformSensor(*, job_name, **kwargs)

基類: SageMakerBaseSensor

輪詢轉換作業直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南： 等待 Amazon SageMaker 轉換作業狀態

引數:

job_name (str) – 要監視的轉換作業的名稱。

template_fields: collections.abc.Sequence[str] = ('job_name',)

template_ext: collections.abc.Sequence[str] = ()

job_name

non_terminal_states()

返回不應終止的狀態。

failed_states()

返回被認為是失敗的狀態。

get_sagemaker_response()

檢查 SageMaker 任務的狀態。

get_failed_reason_from_response(response)

從 AWS 響應中提取失敗原因。

state_from_response(response)

從 AWS 響應中提取狀態。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerTuningSensor(*, job_name, **kwargs)

基類: SageMakerBaseSensor

輪詢調優狀態直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南： 等待 Amazon SageMaker 調優作業狀態

引數:

job_name (str) – 要監視的調優例項的名稱。

template_fields: collections.abc.Sequence[str] = ('job_name',)

template_ext: collections.abc.Sequence[str] =()

job_name

non_terminal_states()

返回不應終止的狀態。

failed_states()

返回被認為是失敗的狀態。

get_sagemaker_response()

檢查 SageMaker 任務的狀態。

get_failed_reason_from_response(response)

從 AWS 響應中提取失敗原因。

state_from_response(response)

從 AWS 響應中提取狀態。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerTrainingSensor(*, job_name, print_log=True, **kwargs)

基類: SageMakerBaseSensor

輪詢訓練作業直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南： 等待 Amazon SageMaker 訓練作業狀態

引數:

• job_name – 要監視的訓練作業的名稱。

• print_log – 如果為 True 則列印 CloudWatch 日誌；預設為 True。

template_fields: collections.abc.Sequence[str] = ('job_name',)

template_ext: collections.abc.Sequence[str] =()

job_name

print_log = True

positions

stream_names = []

instance_count: int | None = None

state: int | None = None

last_description = None

last_describe_job_call = None

log_resource_inited = False

init_log_resource(hook)

設定相關訓練作業的尾隨日誌狀態。

non_terminal_states()

返回不應終止的狀態。

failed_states()

返回被認為是失敗的狀態。

get_sagemaker_response()

檢查 SageMaker 任務的狀態。

get_failed_reason_from_response(response)

從 AWS 響應中提取失敗原因。

state_from_response(response)

從 AWS 響應中提取狀態。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerPipelineSensor(*, pipeline_exec_arn, verbose=True, **kwargs)

基類: SageMakerBaseSensor

輪詢流水線直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南： 等待 Amazon SageMaker 流水線執行狀態

引數:

• pipeline_exec_arn (str) – 要觀察的流水線的 ARN。

• verbose (bool) – 等待完成時是否列印步驟詳細資訊。預設為 true，對於包含數千個步驟的流水線，請考慮關閉此選項。

template_fields: collections.abc.Sequence[str] = ('pipeline_exec_arn',)

pipeline_exec_arn

verbose = True

non_terminal_states()

返回不應終止的狀態。

failed_states()

返回被認為是失敗的狀態。

get_sagemaker_response()

檢查 SageMaker 任務的狀態。

state_from_response(response)

從 AWS 響應中提取狀態。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerAutoMLSensor(*, job_name, **kwargs)

基類: SageMakerBaseSensor

輪詢 AutoML 作業直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南： 等待 Amazon SageMaker AutoML 實驗狀態

引數:

job_name (str) – 要觀察的 AutoML 作業的唯一名稱。

template_fields: collections.abc.Sequence[str] = ('job_name',)

job_name

non_terminal_states()

返回不應終止的狀態。

failed_states()

返回被認為是失敗的狀態。

get_sagemaker_response()

檢查 SageMaker 任務的狀態。

state_from_response(response)

從 AWS 響應中提取狀態。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerProcessingSensor(*, job_name, **kwargs)

基類: SageMakerBaseSensor

輪詢處理作業直到達到最終狀態；丟擲 AirflowException 並附帶失敗原因。

另請參閱

有關如何使用此感測器的更多資訊，請參閱指南： 等待 Amazon SageMaker 處理作業狀態

引數:

job_name (str) – 要觀察的處理作業的名稱。

template_fields: collections.abc.Sequence[str] = ('job_name',)

template_ext: collections.abc.Sequence[str] = ()

job_name

non_terminal_states()

返回不應終止的狀態。

failed_states()

返回被認為是失敗的狀態。

get_sagemaker_response()

檢查 SageMaker 任務的狀態。

state_from_response(response)

從 AWS 響應中提取狀態。

上一頁 下一頁

此條目是否有幫助？