airflow.providers.microsoft.azure.hooks.batch¶

類¶

AzureBatchHook

Azure Batch API 的 Hook。

模組內容¶

class airflow.providers.microsoft.azure.hooks.batch.AzureBatchHook(azure_batch_conn_id=default_conn_name)[source]¶

基類: airflow.hooks.base.BaseHook

Azure Batch API 的 Hook。

引數:: azure_batch_conn_id (str) – 將用於啟動容器例項的服務主體的 Azure Batch 連線 ID。

conn_name_attr = 'azure_batch_conn_id'[source]¶

default_conn_name = 'azure_batch_default'[source]¶

conn_type = 'azure_batch'[source]¶

hook_name = 'Azure Batch Service'[source]¶

classmethod get_connection_form_widgets()[source]¶

返回要新增到連線表單的連線小部件。

classmethod get_ui_field_behaviour()[source]¶

返回自定義欄位行為。

conn_id = 'azure_batch_default'[source]¶

property connection: azure.batch.BatchServiceClient[source]¶

獲取 Batch 客戶端連線（已快取）。

get_conn()[source]¶

獲取 Batch 客戶端連線。

返回:: Azure Batch 客戶端
返回型別:: azure.batch.BatchServiceClient

configure_pool(pool_id, vm_size, vm_node_agent_sku_id, vm_publisher=None, vm_offer=None, sku_starts_with=None, vm_sku=None, vm_version=None, os_family=None, os_version=None, display_name=None, target_dedicated_nodes=None, use_latest_image_and_sku=False, **kwargs)[source]¶

配置一個池。

引數:

pool_id (str) – 在帳戶中唯一標識池的字串
vm_size (str) – 池中虛擬機器的大小。
display_name (str | None) – 池的顯示名稱
target_dedicated_nodes (int | None) – 池中專用計算節點的期望數量。
use_latest_image_and_sku (bool) – 是否使用最新的驗證過的 VM 映象和 SKU
vm_publisher (str | None) – Azure 虛擬機器市場映象的釋出者。例如，Canonical 或 MicrosoftWindowsServer。
vm_offer (str | None) – Azure 虛擬機器市場映象的提供型別。例如，UbuntuServer 或 WindowsServer。
sku_starts_with (str | None) – 要搜尋的 SKU 的起始名稱
vm_sku (str | None) – 要使用的虛擬機器 SKU 名稱
vm_version (str | None) – 虛擬機器的版本
vm_version – str
vm_node_agent_sku_id (str) – 虛擬機器的節點代理 SKU ID
os_family (str | None) – 將安裝在池中虛擬機器上的 Azure 來賓作業系統系列。
os_version (str | None) – 作業系統系列版本

create_pool(pool)[source]¶

如果池不存在則建立一個。

引數:: pool (azure.batch.models.PoolAddParameter) – 要建立的池物件

wait_for_all_node_state(pool_id, node_state)[source]¶

等待池中的所有節點達到給定狀態。

引數:

pool_id (str) – 標識池的字串
node_state (set) – 一組 batch_models.ComputeNodeState

configure_job(job_id, pool_id, display_name=None, **kwargs)[source]¶

配置一個作業以在池中使用。

引數:

job_id (str) – 在帳戶中唯一標識作業的字串
pool_id (str) – 標識池的字串
display_name (str | None) – 作業的顯示名稱

create_job(job)[source]¶

在池中建立一個作業。

引數:: job (azure.batch.models.JobAddParameter) – 要建立的作業物件

configure_task(task_id, command_line, display_name=None, container_settings=None, **kwargs)[source]¶

建立一個任務。

引數:

task_id (str) – 標識要建立的任務的字串
command_line (str) – 任務的命令列。
display_name (str | None) – 任務的顯示名稱
container_settings – 任務執行所在的容器設定。如果將執行此任務的池設定了 containerConfiguration，則此項也必須設定。如果將執行此任務的池未設定 containerConfiguration，則此項不得設定。

add_single_task_to_job(job_id, task)[source]¶

如果指定作業不存在則向其新增一個任務。

引數:

job_id (str) – 標識指定作業的字串
task (azure.batch.models.TaskAddParameter) – 要新增的任務

wait_for_job_tasks_to_complete(job_id, timeout)[source]¶

等待特定作業中的任務完成。

引數:

job_id (str) – 標識作業的字串
timeout (int) – 超時前等待的時間，單位為分鐘

test_connection()[source]¶: 測試已配置的 Azure Batch 連線。