airflow.providers.apache.hive.transfers.mysql_to_hive¶
此模組包含一個用於將資料從 MySQL 移動到 Hive 的運算子。
類¶
將資料從 MySql 移動到 Hive。 |
模組內容¶
- class airflow.providers.apache.hive.transfers.mysql_to_hive.MySqlToHiveOperator(*, sql, hive_table, create=True, recreate=False, partition=None, delimiter=chr(1), quoting=None, quotechar='"', escapechar=None, mysql_conn_id='mysql_default', hive_cli_conn_id='hive_cli_default', hive_auth=None, tblproperties=None, **kwargs)[source]¶
基類:
airflow.models.BaseOperator將資料從 MySql 移動到 Hive。
此運算子針對 MySQL 執行查詢，將檔案儲存在本地，然後載入到 Hive 表中。
如果
create或recreate引數設定為True，將生成CREATE TABLE和DROP TABLE語句。Hive 資料型別從遊標的元資料推斷。請注意，在 Hive 中生成的表使用STORED AS textfile格式，這不是最高效的序列化格式。如果載入大量資料和/或頻繁查詢該表，您可能只想使用此運算子將資料暫存到臨時表中，然後再使用HiveOperator將其載入到最終目的地。- 引數：
sql (str) – 要針對 MySQL 資料庫執行的 SQL 查詢。（模板化）
hive_table (str) – 目標 Hive 表，使用點表示法指定特定資料庫。（模板化）
create (bool) – 如果表不存在是否建立
recreate (bool) – 是否在每次執行時刪除並重新建立表
partition (dict | None) – 目標分割槽，格式為分割槽列及其值的字典。（模板化）
delimiter (str) – 檔案中的欄位分隔符
quoting (int | None) – 控制 csv writer 何時生成引號，可以是 csv.QUOTE_* 常量中的任何一個。
quotechar (str) – 用於引用包含特殊字元的欄位的單字元字串。
escapechar (str | None) – csv writer 用於轉義分隔符或引號字元的單字元字串。
mysql_conn_id (str) – 源 mysql 連線
hive_cli_conn_id (str) – Hive CLI 連線 ID 的引用。
hive_auth (str | None) – Hive 連線的可選認證選項
tblproperties (dict | None) – 正在建立的 Hive 表的 TBLPROPERTIES
- template_fields: collections.abc.Sequence[str] = ('sql', 'partition', 'hive_table')[source]¶
- template_ext: collections.abc.Sequence[str] = ('.sql',)[source]¶