airflow.providers.microsoft.azure.hooks.data_factory¶

拼寫例外。

屬性¶

`Credentials`
`AsyncCredentials`
`T`

異常¶

AzureDataFactoryPipelineRunException

表示管道執行未能完成的異常。

類¶

`AzureDataFactoryPipelineRunStatus`	Azure Data Factory 管道操作狀態。
`AzureDataFactoryHook`	一個與 Azure Data Factory 互動的 Hook。
`AzureDataFactoryAsyncHook`	一個連線到 Azure DataFactory 以執行管道操作的非同步 Hook。

函式¶

`provide_targeted_factory`(func)	如果未指定目標工廠，則將其提供給被裝飾的函式。
`get_field`(extras, field_name[, strict])	從 extra 獲取欄位，首先檢查短名稱，然後為了向後相容性，檢查帶字首的名稱。
`provide_targeted_factory_async`(func)	如果未指定目標工廠，則將其提供給非同步被裝飾的函式。

模組內容¶

airflow.providers.microsoft.azure.hooks.data_factory.Credentials[source]¶

airflow.providers.microsoft.azure.hooks.data_factory.AsyncCredentials[source]¶

airflow.providers.microsoft.azure.hooks.data_factory.T[source]¶

airflow.providers.microsoft.azure.hooks.data_factory.provide_targeted_factory(func)[source]¶

如果未指定目標工廠，則將其提供給被裝飾的函式。

如果未提供 resource_group_name 或 factory_name，則預設為連線 extra 中指定的值。

class airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryPipelineRunStatus[source]¶

Azure Data Factory 管道操作狀態。

QUEUED = 'Queued'[source]¶

IN_PROGRESS = 'InProgress'[source]¶

SUCCEEDED = 'Succeeded'[source]¶

FAILED = 'Failed'[source]¶

CANCELING = 'Canceling'[source]¶

CANCELLED = 'Cancelled'[source]¶

TERMINAL_STATUSES[source]¶

INTERMEDIATE_STATES[source]¶

FAILURE_STATES[source]¶

exception airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryPipelineRunException[source]¶

基礎: airflow.exceptions.AirflowException

表示管道執行未能完成的異常。

airflow.providers.microsoft.azure.hooks.data_factory.get_field(extras, field_name, strict=False)[source]¶

從 extra 獲取欄位，首先檢查短名稱，然後為了向後相容性，檢查帶字首的名稱。

class airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryHook(azure_data_factory_conn_id=default_conn_name)[source]¶

基礎: airflow.hooks.base.BaseHook

一個與 Azure Data Factory 互動的 Hook。

引數:: azure_data_factory_conn_id (str) – Azure Data Factory 連線 ID。

conn_type: str = 'azure_data_factory'[source]¶

conn_name_attr: str ='azure_data_factory_conn_id'[source]¶

default_conn_name: str = 'azure_data_factory_default'[source]¶

hook_name: str = 'Azure Data Factory'[source]¶

classmethod get_connection_form_widgets()[source]¶

返回要新增到連線表單的連線小部件。

classmethod get_ui_field_behaviour()[source]¶

返回自定義欄位行為。

conn_id = 'azure_data_factory_default'[source]¶

get_conn()[source]¶

返回 hook 的連線。

refresh_conn()[source]¶

get_factory(resource_group_name, factory_name, **config)[source]¶

獲取工廠。

引數:

resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

返回:

工廠。

返回型別:

azure.mgmt.datafactory.models.Factory | None

update_factory(factory, resource_group_name, factory_name, if_match=None, **config)[source]¶

更新工廠。

引數:

factory (azure.mgmt.datafactory.models.Factory) – 工廠資源定義。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
if_match (str | None) – 工廠實體的 ETag。僅應在更新時指定，此時應匹配現有實體，或可以使用 * 進行無條件更新。預設值為 None。
config (Any) – ADF 客戶端的額外引數。

引發:

AirflowException – 如果工廠不存在。

返回:

工廠。

返回型別:

azure.mgmt.datafactory.models.Factory

create_factory(factory, resource_group_name, factory_name, **config)[source]¶

建立工廠。

引數:

factory (azure.mgmt.datafactory.models.Factory) – 工廠資源定義。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

引發:

AirflowException – 如果工廠已存在。

返回:

工廠。

返回型別:

azure.mgmt.datafactory.models.Factory

delete_factory(resource_group_name, factory_name, **config)[source]¶

刪除工廠。

引數:

resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

get_linked_service(linked_service_name, resource_group_name, factory_name, if_none_match=None, **config)[source]¶

獲取連結服務。

引數:

linked_service_name (str) – 連結服務名稱。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
if_none_match (str | None) – 連結服務實體的 ETag。僅應在獲取時指定。如果 ETag 與現有實體標籤匹配，或者提供了 *，則不會返回任何內容。預設值為 None。
config (Any) – ADF 客戶端的額外引數。

返回:

連結服務。

返回型別:

azure.mgmt.datafactory.models.LinkedServiceResource | None

update_linked_service(linked_service_name, linked_service, resource_group_name, factory_name, **config)[source]¶

更新連結服務。

引數:

linked_service_name (str) – 連結服務名稱。
linked_service (azure.mgmt.datafactory.models.LinkedServiceResource) – 連結服務資源定義。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

引發:

AirflowException – 如果連結服務不存在。

返回:

連結服務。

返回型別:

azure.mgmt.datafactory.models.LinkedServiceResource

create_linked_service(linked_service_name, linked_service, resource_group_name, factory_name, **config)[source]¶

建立連結服務。

引數:

linked_service_name (str) – 連結服務名稱。
linked_service (azure.mgmt.datafactory.models.LinkedServiceResource) – 連結服務資源定義。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

引發:

AirflowException – 如果連結服務已存在。

返回:

連結服務。

返回型別:

azure.mgmt.datafactory.models.LinkedServiceResource

delete_linked_service(linked_service_name, resource_group_name, factory_name, **config)[source]¶

刪除連結服務。

引數:

linked_service_name (str) – 連結服務名稱。
resource_group_name (str) – 連結服務名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

get_dataset(dataset_name, resource_group_name, factory_name, **config)[source]¶

獲取資料集。

引數:

dataset_name (str) – 資料集名稱。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

返回:

資料集。

返回型別:

azure.mgmt.datafactory.models.DatasetResource | None

update_dataset(dataset_name, dataset, resource_group_name, factory_name, **config)[source]¶

更新資料集。

引數:

dataset_name (str) – 資料集名稱。
dataset (azure.mgmt.datafactory.models.DatasetResource) – 資料集資源定義。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

引發:

AirflowException – 如果資料集不存在。

返回:

資料集。

返回型別:

azure.mgmt.datafactory.models.DatasetResource

create_dataset(dataset_name, dataset, resource_group_name, factory_name, **config)[source]¶

建立資料集。

引數:

dataset_name (str) – 資料集名稱。
dataset (azure.mgmt.datafactory.models.DatasetResource) – 資料集資源定義。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

引發:

AirflowException – 如果資料集已存在。

返回:

資料集。

返回型別:

azure.mgmt.datafactory.models.DatasetResource

delete_dataset(dataset_name, resource_group_name, factory_name, **config)[source]¶

刪除資料集。

引數:

dataset_name (str) – 資料集名稱。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

get_dataflow(dataflow_name, resource_group_name, factory_name, if_none_match=None, **config)[source]¶

獲取資料流。

引數:

dataflow_name (str) – 資料流名稱。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
if_none_match (str | None) – 資料流實體的 ETag。僅應在獲取時指定。如果 ETag 與現有實體標籤匹配，或者提供了 *，則不會返回任何內容。預設值為 None。
config (Any) – ADF 客戶端的額外引數。

返回:

DataFlowResource。

返回型別:

azure.mgmt.datafactory.models.DataFlowResource

update_dataflow(dataflow_name, dataflow, resource_group_name, factory_name, if_match=None, **config)[source]¶

更新資料流。

引數:

dataflow_name (str) – 資料流名稱。
dataflow (azure.mgmt.datafactory.models.DataFlowResource | IO) – 資料流資源定義。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
if_match (str | None) – 資料流實體的 ETag。僅應在更新時指定，此時應匹配現有實體，或可以使用 * 進行無條件更新。預設值為 None。
config (Any) – ADF 客戶端的額外引數。

引發:

AirflowException – 如果資料集不存在。

返回:

DataFlowResource。

返回型別:

azure.mgmt.datafactory.models.DataFlowResource

create_dataflow(dataflow_name, dataflow, resource_group_name, factory_name, if_match=None, **config)[source]¶

建立資料流。

引數:

dataflow_name (str) – 資料流名稱。
dataflow (azure.mgmt.datafactory.models.DataFlowResource) – 資料流資源定義。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
if_match (str | None) – 工廠實體的 ETag。僅應在更新時指定，此時應匹配現有實體，或可以使用 * 進行無條件更新。預設值為 None。
config (Any) – ADF 客戶端的額外引數。

引發:

AirflowException – 如果資料集已存在。

返回:

資料集。

返回型別:

azure.mgmt.datafactory.models.DataFlowResource

delete_dataflow(dataflow_name, resource_group_name, factory_name, **config)[source]¶

刪除資料流。

引數:

dataflow_name (str) – 資料流名稱。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

get_pipeline(pipeline_name, resource_group_name, factory_name, **config)[source]¶

獲取管道。

引數:

pipeline_name (str) – 管道名稱。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

返回:

管道。

返回型別:

azure.mgmt.datafactory.models.PipelineResource | None

update_pipeline(pipeline_name, pipeline, resource_group_name, factory_name, **config)[source]¶

更新管道。

引數:

pipeline_name (str) – 管道名稱。
pipeline (azure.mgmt.datafactory.models.PipelineResource) – 管道資源定義。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

引發:

AirflowException – 如果管道不存在。

返回:

管道。

返回型別:

azure.mgmt.datafactory.models.PipelineResource

create_pipeline(pipeline_name, pipeline, resource_group_name, factory_name, **config)[source]¶

建立管道。

引數:

pipeline_name (str) – 管道名稱。
pipeline (azure.mgmt.datafactory.models.PipelineResource) – 管道資源定義。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

引發:

AirflowException – 如果管道已存在。

返回:

管道。

返回型別:

azure.mgmt.datafactory.models.PipelineResource

delete_pipeline(pipeline_name, resource_group_name, factory_name, **config)[source]¶

刪除管道。

引數:

pipeline_name (str) – 管道名稱。
resource_group_name (str) – 管道名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

run_pipeline(pipeline_name, resource_group_name, factory_name, **config)[source]¶

執行管道。

引數:

pipeline_name (str) – 管道名稱。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

返回:

管道執行。

返回型別:

azure.mgmt.datafactory.models.CreateRunResponse

get_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

獲取管道執行。

引數:

run_id (str) – 管道執行識別符號。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

返回:

管道執行。

返回型別:

azure.mgmt.datafactory.models.PipelineRun

get_pipeline_run_status(run_id, resource_group_name, factory_name)[source]¶

獲取管道執行的當前狀態。

引數:

run_id (str) – 管道執行識別符號。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。

返回:

管道執行的狀態。

返回型別:

str

wait_for_pipeline_run_status(run_id, expected_statuses, resource_group_name, factory_name, check_interval=60, timeout=60 * 60 * 24 * 7)[source]¶

等待管道執行匹配預期的狀態。

引數:

run_id (str) – 管道執行識別符號。
expected_statuses (str | set[str]) – 與管道執行的當前狀態進行比對的期望狀態。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
check_interval (int) – 檢查管道執行狀態的時間間隔（秒）。
timeout (int) – 等待管道達到終止狀態或預期狀態的超時時間（秒）。

返回:

布林值，指示管道執行是否已達到 expected_status。

返回型別:

bool

cancel_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

取消管道執行。

引數:

run_id (str) – 管道執行識別符號。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

get_trigger(trigger_name, resource_group_name, factory_name, **config)[source]¶

獲取觸發器。

引數:

trigger_name (str) – 觸發器名稱。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

返回:

觸發器。

返回型別:

azure.mgmt.datafactory.models.TriggerResource | None

update_trigger(trigger_name, trigger, resource_group_name, factory_name, if_match=None, **config)[source]¶

更新觸發器。

引數:

trigger_name (str) – 觸發器名稱。
trigger (azure.mgmt.datafactory.models.TriggerResource) – 觸發器資源定義。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
if_match (str | None) – 觸發器實體的 ETag。僅應在更新時指定，此時它應與現有實體匹配，或者可以為 * 進行無條件更新。預設值為 None。
config (Any) – ADF 客戶端的額外引數。

引發:

AirflowException – 如果觸發器不存在。

返回:

觸發器。

返回型別:

azure.mgmt.datafactory.models.TriggerResource

create_trigger(trigger_name, trigger, resource_group_name, factory_name, **config)[source]¶

建立觸發器。

引數:

trigger_name (str) – 觸發器名稱。
trigger (azure.mgmt.datafactory.models.TriggerResource) – 觸發器資源定義。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

引發:

AirflowException – 如果觸發器已存在。

返回:

觸發器。

返回型別:

azure.mgmt.datafactory.models.TriggerResource

delete_trigger(trigger_name, resource_group_name, factory_name, **config)[source]¶

刪除觸發器。

引數:

trigger_name (str) – 觸發器名稱。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

start_trigger(trigger_name, resource_group_name, factory_name, **config)[source]¶

啟動觸發器。

引數:

trigger_name (str) – 觸發器名稱。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

返回:

一個 Azure 操作輪詢器。

返回型別:

azure.core.polling.LROPoller

stop_trigger(trigger_name, resource_group_name, factory_name, **config)[source]¶

停止觸發器。

引數:

trigger_name (str) – 觸發器名稱。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

返回:

一個 Azure 操作輪詢器。

返回型別:

azure.core.polling.LROPoller

rerun_trigger(trigger_name, run_id, resource_group_name, factory_name, **config)[source]¶

重新執行觸發器。

引數:

trigger_name (str) – 觸發器名稱。
run_id (str) – 觸發器執行識別符號。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

cancel_trigger(trigger_name, run_id, resource_group_name, factory_name, **config)[source]¶

取消觸發器。

引數:

trigger_name (str) – 觸發器名稱。
run_id (str) – 觸發器執行識別符號。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

test_connection()[source]¶

測試已配置的 Azure Data Factory 連線。

airflow.providers.microsoft.azure.hooks.data_factory.provide_targeted_factory_async(func)[source]¶

如果未指定，則為非同步裝飾函式提供目標工廠。

如果未提供 resource_group_name 或 factory_name，則預設為連線 extra 中指定的值。

class airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryAsyncHook(azure_data_factory_conn_id=default_conn_name)[source]¶

基類: AzureDataFactoryHook

一個連線到 Azure DataFactory 以執行管道操作的非同步 Hook。

引數:: azure_data_factory_conn_id (str) – Azure Data Factory 連線 ID。

default_conn_name: str = 'azure_data_factory_default'[source]¶

conn_id = 'azure_data_factory_default'[source]¶

async get_async_conn()[source]¶

獲取非同步連線並連線到 Azure Data Factory。

async refresh_conn()[source]¶

async get_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

非同步連線到 Azure Data Factory，透過執行 ID 獲取管道執行詳情。

引數:

run_id (str) – 管道執行識別符號。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。

async get_adf_pipeline_run_status(run_id, resource_group_name, factory_name)[source]¶

非同步連線到 Azure Data Factory，並透過 run_id 獲取管道狀態。

引數:

run_id (str) – 管道執行識別符號。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。

async cancel_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

取消管道執行。

引數:

run_id (str) – 管道執行識別符號。
resource_group_name (str) – 資源組名稱。
factory_name (str) – 工廠名稱。
config (Any) – ADF 客戶端的額外引數。