airflow.providers.apache.spark.hooks.spark_jdbc_script¶

屬性¶

`SPARK_WRITE_TO_JDBC`
`SPARK_READ_FROM_JDBC`

函式¶

`set_common_options`(spark_source[, url, jdbc_table, ...])	從 JDBC 連接獲取 Spark source。
`spark_write_to_jdbc`(spark_session, url, user, ...)	將資料從 Spark 傳輸到 JDBC source。
`spark_read_from_jdbc`(spark_session, url, user, ...)	將資料從 JDBC source 傳輸到 Spark。

模組內容¶

airflow.providers.apache.spark.hooks.spark_jdbc_script.SPARK_WRITE_TO_JDBC: str = 'spark_to_jdbc'[source]¶

airflow.providers.apache.spark.hooks.spark_jdbc_script.SPARK_READ_FROM_JDBC: str = 'jdbc_to_spark'[source]¶

airflow.providers.apache.spark.hooks.spark_jdbc_script.set_common_options(spark_source, url='localhost:5432', jdbc_table='default.default', user='root', password='root', driver='driver')[source]¶

從 JDBC 連接獲取 Spark source。

引數:

spark_source (Any) – Spark source，這裡是 Spark reader 或 writer
url (str) – JDBC 資源 url
jdbc_table (str) – JDBC 資源表名
user (str) – JDBC 資源使用者名稱
password (str) – JDBC 資源密碼
driver (str) – JDBC 資源驅動

airflow.providers.apache.spark.hooks.spark_jdbc_script.spark_write_to_jdbc(spark_session, url, user, password, metastore_table, jdbc_table, driver, truncate, save_mode, batch_size, num_partitions, create_table_column_types)[source]¶

將資料從 Spark 傳輸到 JDBC source。

airflow.providers.apache.spark.hooks.spark_jdbc_script.spark_read_from_jdbc(spark_session, url, user, password, metastore_table, jdbc_table, driver, save_mode, save_format, fetch_size, num_partitions, partition_column, lower_bound, upper_bound)[source]¶

將資料從 JDBC source 傳輸到 Spark。