airflow.providers.databricks.sensors.databricks_sql¶

此模組包含 Databricks 感測器。

類¶

DatabricksSqlSensor

在 Databricks 上執行 SQL 查詢的感測器。

模組內容¶

class airflow.providers.databricks.sensors.databricks_sql.DatabricksSqlSensor(*, databricks_conn_id=DatabricksSqlHook.default_conn_name, http_path=None, sql_warehouse_name=None, session_configuration=None, http_headers=None, catalog='', schema='default', sql, handler=fetch_all_handler, client_parameters=None, **kwargs)[原始碼]¶

基類: airflow.sensors.base.BaseSensorOperator

在 Databricks 上執行 SQL 查詢的感測器。

引數:

databricks_conn_id (str) – 引用 Databricks 連線 ID（模板化），預設為 DatabricksSqlHook.default_conn_name。
sql_warehouse_name (str | None) – Databricks SQL 倉庫的可選名稱。如果未指定，必須按照下文所述提供 http_path，預設為 None
http_path (str | None) – 指定 Databricks SQL 倉庫或通用叢集 HTTP 路徑的可選字串。如果未指定，應在 Databricks 連線的額外引數中指定，或必須指定 sql_warehouse_name。
session_configuration – Spark session 引數的可選字典。如果未指定，可在 Databricks 連線的額外引數中指定，預設為 None
http_headers (list[tuple[str, str]] | None) – 將在每個請求中設定為 HTTP 頭的 (k, v) 對的可選列表。（模板化）。
catalog (str) – 要使用的可選初始 catalog。需要 Databricks Runtime 9.0+ 版本（模板化），預設為 “”
schema (str) – 要使用的可選初始 schema。需要 Databricks Runtime 9.0+ 版本（模板化），預設為 “default”
sql (str | collections.abc.Iterable[str]) – 要執行的 SQL 語句。
handler (Callable[[Any], Any]) – 用於 DbApiHook.run() 返回結果的處理程式，預設為 fetch_all_handler
client_parameters (dict[str, Any] | None) – Databricks SQL 聯結器引數內部的額外引數。