Microsoft Azure Data Lake Storage Gen2 連線

Microsoft Azure Data Lake Storage Gen2 連線型別支援 ADLS Gen2 整合。

向 Azure Data Lake Storage Gen2 進行身份驗證

目前,有三種方法可以使用 Airflow 連線到 Azure Data Lake Storage Gen2。

  1. 使用 令牌憑據,即向 Airflow 連線新增特定憑據 (client_id, secret, tenant) 和訂閱 ID。

  2. 使用 連線字串,即在 Airflow 連線中將連線字串新增到 connection_string 中。

  3. 回退到 DefaultAzureCredential。這包括嘗試不同身份驗證選項的機制:託管系統身份、環境變數、透過 Azure CLI 進行身份驗證等。

一次只能使用一種授權方法。如果您需要管理多個憑據或金鑰,則應配置多個連線。

預設連線 ID

所有與 Microsoft Azure Blob Storage 相關的 hook 和 operator 預設使用 azure_data_lake_default

配置連線

登入 (可選)

指定用於 Azure Blob Storage 的登入名。用於共享金鑰憑據和 SAS 令牌身份驗證。可以省略以回退到 DefaultAzureCredential

密碼 (可選)

指定用於 Azure Blob Storage 的密碼。用於 Active Directory (令牌憑據) 和共享金鑰身份驗證。可以省略以回退到 DefaultAzureCredential

主機 (可選)

指定用於匿名公共讀取、Active Directory、共享訪問金鑰身份驗證的帳戶 URL。可以省略以回退到 DefaultAzureCredential

額外引數 (可選)

指定可在 Azure 連線中使用的額外引數(作為 JSON 字典)。以下引數均為可選

  • tenant_id:指定要使用的租戶。Active Directory (令牌) 身份驗證所需。可以省略以回退到 DefaultAzureCredential

  • connection_string:用於連線字串身份驗證的連線字串。可以省略以回退到 DefaultAzureCredential

在環境變數中指定連線時,應使用 URI 語法進行指定。

請注意,URI 的所有元件都應進行 URL 編碼。

此條目有幫助嗎?