airflow.providers.databricks.hooks.databricks_base¶

Databricks hook。

此 hook 支援向 Databricks 平臺提交和執行作業。在內部，operator 會與 api/2.0/jobs/runs/submit 端點通訊。

屬性¶

`AZURE_METADATA_SERVICE_TOKEN_URL`
`AZURE_METADATA_SERVICE_INSTANCE_URL`
`TOKEN_REFRESH_LEAD_TIME`
`AZURE_MANAGEMENT_ENDPOINT`
`DEFAULT_DATABRICKS_SCOPE`
`OIDC_TOKEN_SERVICE_URL`
`DEFAULT_AZURE_CREDENTIAL_SETTING_KEY`

類¶

`BaseDatabricksHook`	與 Databricks 互動的基礎類。
`BearerAuth`	aiohttp 只自帶 BasicAuth，對於 Bearer auth，我們需要 BasicAuth 的子類。

模組內容¶

airflow.providers.databricks.hooks.databricks_base.AZURE_METADATA_SERVICE_TOKEN_URL = 'http://169.254.169.254/metadata/identity/oauth2/token'[source]¶

airflow.providers.databricks.hooks.databricks_base.AZURE_METADATA_SERVICE_INSTANCE_URL = 'http://169.254.169.254/metadata/instance'[source]¶

airflow.providers.databricks.hooks.databricks_base.TOKEN_REFRESH_LEAD_TIME = 120[source]¶

airflow.providers.databricks.hooks.databricks_base.AZURE_MANAGEMENT_ENDPOINT = 'https://management.core.windows.net/'[source]¶

airflow.providers.databricks.hooks.databricks_base.DEFAULT_DATABRICKS_SCOPE = '2ff814a6-3304-4ab8-85cb-cd0e6f879c1d'[source]¶

airflow.providers.databricks.hooks.databricks_base.OIDC_TOKEN_SERVICE_URL = '{}/oidc/v1/token'[source]¶

airflow.providers.databricks.hooks.databricks_base.DEFAULT_AZURE_CREDENTIAL_SETTING_KEY = 'use_default_azure_credential'[source]¶

class airflow.providers.databricks.hooks.databricks_base.BaseDatabricksHook(databricks_conn_id=default_conn_name, timeout_seconds=180, retry_limit=3, retry_delay=1.0, retry_args=None, caller='Unknown')[source]¶

基類: airflow.hooks.base.BaseHook

與 Databricks 互動的基礎類。

引數:

databricks_conn_id (str) – 指向 Databricks 連線的引用。
timeout_seconds (int) – requests 庫在超時前等待的時間，單位為秒。
retry_limit (int) – 服務中斷時重試連線的次數。
retry_delay (float) – 每次重試之間等待的秒數（可能是一個浮點數）。
retry_args (dict[Any, Any] | None) – 一個可選字典，包含傳遞給 tenacity.Retrying 類的引數。
caller (str) – 呼叫此 hook 的 operator 名稱。

conn_name_attr: str = 'databricks_conn_id'[source]¶

default_conn_name = 'databricks_default'[source]¶

conn_type ='databricks'[source]¶

extra_parameters[source]¶

databricks_conn_id = 'databricks_default'[source]¶

timeout_seconds = 180[source]¶

retry_limit = 3[source]¶

retry_delay = 1.0[source]¶

oauth_tokens: dict[str, dict][source]¶

token_timeout_seconds = 10[source]¶

caller = 'Unknown'[source]¶

property databricks_conn: airflow.models.Connection[source]¶

get_conn()[source]¶

返回 hook 的連線。

property user_agent_header: dict[str, str][source]¶

property user_agent_value: str[source]¶

property host: str[source]¶

async __aenter__()[source]¶

async __aexit__(*err)[source]¶

class airflow.providers.databricks.hooks.databricks_base.BearerAuth(token)[source]¶

基類: aiohttp.BasicAuth

aiohttp 只自帶 BasicAuth，對於 Bearer auth，我們需要 BasicAuth 的子類。

token[source]¶

encode()[source]¶

編碼憑據。