Microsoft Azure Data Lake 連線

Microsoft Azure Data Lake 連線型別支援 Azure Data Lake 整合。

Azure Data Lake 身份驗證

使用 Airflow 連線到 Azure Data Lake 有以下幾種方式。

  1. 使用 令牌憑據，即：將特定憑據（client_id、secret、tenant）和賬戶名新增到 Airflow 連線中。

  2. 回退到 DefaultAzureCredential。這包括嘗試不同認證選項的機制：託管系統身份、環境變數、透過 Azure CLI 進行認證等。

預設連線 ID¶

所有與 Microsoft Azure Data Lake 相關的 hook 和 operator 預設使用 azure_data_lake_default。

配置連線¶

登入 (可選)

指定用於初始連線的 client_id。這需要用於 令牌憑據 認證機制。可以省略，以回退到 DefaultAzureCredential。

密碼 (可選)

指定用於初始連線的 secret。這僅需要用於 令牌憑據 認證機制。可以省略，以回退到 DefaultAzureCredential。

額外引數 (可選)

指定可用於 Azure Data Lake 連線的額外引數（作為 JSON 字典）。以下引數均為可選

  • tenant: (可選) 指定要使用的租戶 (tenant)。這需要用於 令牌憑據 認證機制。可以省略，以回退到 DefaultAzureCredential。

  • account_name: 指定 azure data lake 賬戶名。有時也稱為 store_name

在環境變數中指定連線時，應使用 URI 語法指定它。

注意，URI 的所有組成部分都應進行 URL 編碼。

例如

export AIRFLOW_CONN_AZURE_DATA_LAKE_DEFAULT='azure-data-lake://client%20id:secret@?tenant=tenant+id&account_name=store+name'

此條目有用嗎？