Microsoft Azure Data Lake Storage Gen2 連線¶
Microsoft Azure Data Lake Storage Gen2 連線型別支援 ADLS Gen2 整合。
向 Azure Data Lake Storage Gen2 進行身份驗證¶
目前,有三種方法可以使用 Airflow 連線到 Azure Data Lake Storage Gen2。
使用 令牌憑據,即向 Airflow 連線新增特定憑據 (client_id, secret, tenant) 和訂閱 ID。
使用 連線字串,即在 Airflow 連線中將連線字串新增到
connection_string中。回退到 DefaultAzureCredential。這包括嘗試不同身份驗證選項的機制:託管系統身份、環境變數、透過 Azure CLI 進行身份驗證等。
一次只能使用一種授權方法。如果您需要管理多個憑據或金鑰,則應配置多個連線。
預設連線 ID¶
所有與 Microsoft Azure Blob Storage 相關的 hook 和 operator 預設使用 azure_data_lake_default。
配置連線¶
- 登入 (可選)
指定用於 Azure Blob Storage 的登入名。用於共享金鑰憑據和 SAS 令牌身份驗證。可以省略以回退到 DefaultAzureCredential。
- 密碼 (可選)
指定用於 Azure Blob Storage 的密碼。用於 Active Directory (令牌憑據) 和共享金鑰身份驗證。可以省略以回退到 DefaultAzureCredential。
- 主機 (可選)
指定用於匿名公共讀取、Active Directory、共享訪問金鑰身份驗證的帳戶 URL。可以省略以回退到 DefaultAzureCredential。
- 額外引數 (可選)
指定可在 Azure 連線中使用的額外引數(作為 JSON 字典)。以下引數均為可選
tenant_id:指定要使用的租戶。Active Directory (令牌) 身份驗證所需。可以省略以回退到 DefaultAzureCredential。connection_string:用於連線字串身份驗證的連線字串。可以省略以回退到 DefaultAzureCredential。
在環境變數中指定連線時,應使用 URI 語法進行指定。
請注意,URI 的所有元件都應進行 URL 編碼。