Microsoft Azure Data Factory

Microsoft Azure Data Factory 連線型別支援 Azure Data Factory 整合。

向 Azure Data Factory 進行身份驗證

有三種方法可以使用 Airflow 連線到 Azure Data Factory。

  1. 使用令牌憑據，即向 Airflow 連線新增特定憑據（client_id、secret、tenant）和訂閱 ID。

  2. 透過設定 managed_identity_client_id、workload_identity_tenant_id 使用託管標識（內部使用 DefaultAzureCredential 並傳入這些引數）

  3. 回退到 DefaultAzureCredential。這包含嘗試不同身份驗證選項的機制：託管系統標識、環境變數、透過 Azure CLI 進行身份驗證…

預設連線 ID

所有與 Microsoft Azure Data Factory 相關的 hook 和 operator 預設使用 azure_data_factory_default。

配置連線

客戶端 ID

指定用於初始連線的 client_id。令牌憑據身份驗證機制需要此項。可以省略以回退到 DefaultAzureCredential。

金鑰

指定用於初始連線的 secret。令牌憑據身份驗證機制需要此項。可以省略以回退到 DefaultAzureCredential。

租戶 ID

指定用於初始連線的 Azure 租戶 ID。令牌憑據身份驗證機制需要此項。可以省略以回退到 DefaultAzureCredential。使用 extra 引數 tenantId 傳入租戶 ID。

訂閱 ID

指定用於初始連線的訂閱 ID。所有身份驗證機制都需要此項。使用 extra 引數 subscriptionId 傳入 Azure 訂閱 ID。

工廠名稱（可選）

指定要與之互動的 Azure Data Factory。如果連線中未指定，則需要將其直接傳遞給 hook、operator 和 sensor。使用 extra 引數 factory_name 傳入工廠名稱。

資源組名稱（可選）

指定所需 data factory 所在的 Azure 資源組名稱。如果連線中未指定，則需要將其直接傳遞給 hook、operator 和 sensor。使用 extra 引數 resource_group_name 傳入資源組名稱。

託管標識客戶端 ID（可選）

使用者分配的託管標識的客戶端 ID。如果與 workload_identity_tenant_id 一起提供，則會傳遞給 DefaultAzureCredential。

工作負載標識租戶 ID（可選）

應用程式的 Microsoft Entra 租戶 ID。也稱為其“目錄”ID。如果與 managed_identity_client_id 一起提供，則會傳遞給 DefaultAzureCredential。

在環境變數中指定連線時，應使用 URI 語法進行指定。

請注意，URI 的所有組成部分都應進行 URL 編碼。

示例

export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id&resource_group_name=group+name&factory_name=factory+name'

export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id'

此條目有幫助嗎？