airflow.providers.alibaba.cloud.hooks.analyticdb_spark¶

類¶

`AppState`	AnalyticDB Spark 應用程式狀態。
`AnalyticDBSparkHook`	用於透過 REST API 與 AnalyticDB MySQL Spark 互動的 Hook。

模組內容¶

class airflow.providers.alibaba.cloud.hooks.analyticdb_spark.AppState[源]¶

基類: enum.Enum

AnalyticDB Spark 應用程式狀態。

參見: https://www.alibabacloud.com/help/en/analyticdb-for-mysql/latest/api-doc-adb-2021-12-01-api-struct -sparkappinfo。

SUBMITTED = 'SUBMITTED'[源]¶

STARTING = 'STARTING'[源]¶

RUNNING = 'RUNNING'[源]¶

FAILING = 'FAILING'[源]¶

FAILED = 'FAILED'[源]¶

KILLING = 'KILLING'[源]¶

KILLED = 'KILLED'[源]¶

SUCCEEDING = 'SUCCEEDING'[源]¶

COMPLETED = 'COMPLETED'[源]¶

FATAL = 'FATAL'[源]¶

UNKNOWN = 'UNKNOWN'[源]¶

class airflow.providers.alibaba.cloud.hooks.analyticdb_spark.AnalyticDBSparkHook(adb_spark_conn_id='adb_spark_default', region=None, *args, **kwargs)[源]¶

基類: airflow.hooks.base.BaseHook, airflow.utils.log.logging_mixin.LoggingMixin

用於透過 REST API 與 AnalyticDB MySQL Spark 互動的 Hook。

引數:

adb_spark_conn_id (str) – 用於 AnalyticDB MySQL Spark 憑據的 Airflow 連線。
region (str | None) – 您希望提交 Spark 應用程式的 AnalyticDB MySQL 區域。

TERMINAL_STATES[源]¶

conn_name_attr = 'alibabacloud_conn_id'[源]¶

default_conn_name = 'adb_spark_default'[源]¶

conn_type = 'adb_spark'[源]¶

hook_name = 'AnalyticDB Spark'[源]¶

adb_spark_conn_id = 'adb_spark_default'[源]¶

adb_spark_conn[源]¶

region[源]¶

submit_spark_app(cluster_id, rg_name, *args, **kwargs)[源]¶

執行請求以提交 Spark 應用程式。

引數:

cluster_id (str) – AnalyticDB MySQL 3.0 資料湖叢集的叢集 ID。
rg_name (str) – AnalyticDB MySQL 3.0 資料湖叢集中的資源組名稱。

submit_spark_sql(cluster_id, rg_name, *args, **kwargs)[源]¶

執行請求以提交 Spark SQL。

引數:

cluster_id (str) – AnalyticDB MySQL 3.0 資料湖叢集的叢集 ID。
rg_name (str) – AnalyticDB MySQL 3.0 資料湖叢集中的資源組名稱。

get_spark_state(app_id)[源]¶

獲取指定 Spark 應用程式的狀態。

引數:: app_id (str) – Spark 應用程式的識別符號

get_spark_web_ui_address(app_id)[源]¶

獲取指定 Spark 應用程式的 Web UI 地址。

引數:: app_id (str) – Spark 應用程式的識別符號

get_spark_log(app_id)[源]¶

獲取指定 Spark 應用程式的日誌。

引數:: app_id (str) – Spark 應用程式的識別符號

kill_spark_app(app_id)[源]¶

終止指定的 Spark 應用程式。

引數:: app_id (str) – Spark 應用程式的識別符號

static build_submit_app_data(file=None, class_name=None, args=None, conf=None, jars=None, py_files=None, files=None, driver_resource_spec=None, executor_resource_spec=None, num_executors=None, archives=None, name=None)[源]¶

構建提交應用程式的請求資料。

引數:

file (str | None) – 包含要執行的應用程式檔案的路徑。
class_name (str | None) – 應用程式 Java/Spark 主類的名稱。
args (collections.abc.Sequence[str | int | float] | None) – 應用程式命令列引數。
conf (dict[Any, Any] | None) – Spark 配置屬性。
jars (collections.abc.Sequence[str] | None) – 此應用程式要使用的 jar 包。
py_files (collections.abc.Sequence[str] | None) – 此應用程式要使用的 Python 檔案。
files (collections.abc.Sequence[str] | None) – 此應用程式要使用的檔案。
driver_resource_spec (str | None) – Spark driver 的資源規範。
executor_resource_spec (str | None) – 每個 Spark executor 的資源規範。
num_executors (int | str | None) – 為此應用程式啟動的 executor 數量。
archives (collections.abc.Sequence[str] | None) – 此應用程式要使用的歸檔檔案。
name (str | None) – 此應用程式的名稱。

static build_submit_sql_data(sql=None, conf=None, driver_resource_spec=None, executor_resource_spec=None, num_executors=None, name=None)[源]¶

構建提交 Spark SQL 的請求資料。

引數:

sql (str | None) – 要執行的 SQL 查詢。（模板化）
conf (dict[Any, Any] | None) – Spark 配置屬性。
driver_resource_spec (str | None) – Spark driver 的資源規範。
executor_resource_spec (str | None) – 每個 Spark executor 的資源規範。
num_executors (int | str | None) – 為此應用程式啟動的 executor 數量。
name (str | None) – 此應用程式的名稱。

get_adb_spark_client()[源]¶

獲取有效的 AnalyticDB MySQL Spark 客戶端。

get_default_region()[源]¶

從連線中獲取預設區域。