airflow.providers.databricks.sensors.databricks_partition¶

此模組包含 Databricks 感測器。

類¶

DatabricksPartitionSensor

用於檢測 Databricks 中表分割槽是否存在的感測器。

模組內容¶

class airflow.providers.databricks.sensors.databricks_partition.DatabricksPartitionSensor(*, databricks_conn_id=DatabricksSqlHook.default_conn_name, http_path=None, sql_warehouse_name=None, session_configuration=None, http_headers=None, catalog='', schema='default', table_name, partitions, partition_operator='=', handler=fetch_all_handler, client_parameters=None, **kwargs)[source]¶

基礎類：airflow.sensors.base.BaseSensorOperator

用於檢測 Databricks 中表分割槽是否存在的感測器。

引數：

databricks_conn_id (str) – 對 Databricks 連線 ID 的引用 (模板化)，預設為 DatabricksSqlHook.default_conn_name。
sql_warehouse_name (str | None) – Databricks SQL 倉庫的可選名稱。如果未指定，則必須提供 http_path（如下所述），預設為 None
http_path (str | None) – 指定 Databricks SQL 倉庫或通用叢集的 HTTP 路徑的可選字串。如果未指定，則應在 Databricks 連線的額外引數中指定，或者必須指定 sql_warehouse_name。
session_configuration – Spark session 引數的可選字典。如果未指定，則可以在 Databricks 連線的額外引數中指定，預設為 None
http_headers (list[tuple[str, str]] | None) – 可選的 (k, v) 對列表，將在每個請求中設定為 HTTP 頭。(模板化)。
catalog (str) – 要使用的可選初始目錄。需要 Databricks Runtime 9.0+ 版本 (模板化)，預設為 ""。
schema (str) – 要使用的可選初始 schema。需要 Databricks Runtime 9.0+ 版本 (模板化)，預設為 “default”。
table_name (str) – 要檢查分割槽的表的名稱。
partitions (dict) – 要檢查的分割槽名稱。示例：{“date”: “2023-01-03”, “name”: [“abc”, “def”]}。
partition_operator (str) – 用於分割槽的可選比較運算子，例如 >=。
handler (Callable[[Any], Any]) – DbApiHook.run() 的處理器，用於返回結果，預設為 fetch_all_handler。
client_parameters (dict[str, Any] | None) – Databricks SQL 聯結器內部的附加引數。

template_fields: collections.abc.Sequence[str] = ('databricks_conn_id', 'catalog', 'schema', 'table_name', 'partitions', 'http_headers')[source]¶