Google Cloud BigQuery 到 MySQL 傳輸運算子¶

Google Cloud BigQuery 是 Google Cloud 提供的無伺服器資料倉庫。 MySQL 是一個開源關係資料庫管理系統。此運算子可用於將資料從 BigQuery 表複製到 MySQL。

先決任務¶

要使用這些運算子，您必須完成以下事項

使用 Cloud Console 選擇或建立一個 Cloud Platform 專案。

為您的專案啟用結算功能，具體說明請參見 Google Cloud 文件。

啟用 API，具體說明請參見 Cloud Console 文件。
透過 pip 安裝 API 庫。
pip install 'apache-airflow[google]'
詳細資訊請參見安裝。
設定 Google Cloud 連線.

運算子¶

使用 BigQueryToMySqlOperator 運算子可以將資料從一個 BigQuery 表複製到另一個表。

對 target_table_name, impersonation_chain, dataset_id, table_id, dataset_id, table_id 使用 Jinja 模板來動態定義值。

您可以使用引數 selected_fields 來限制要複製的欄位（預設複製所有欄位），也可以使用引數 replace 來覆蓋目標表而不是附加到目標表。更多資訊請參考上面的連結。

傳輸資料¶

以下運算子將資料從 BigQuery 表複製到 MySQL。

tests/system/google/cloud/bigquery/example_bigquery_to_mysql.py

bigquery_to_mysql = BigQueryToMySqlOperator(
    task_id="bigquery_to_mysql",
    dataset_table=f"{DATASET_NAME}.{TABLE}",
    target_table_name=destination_table,
    replace=False,
)

參考¶

更多資訊請參考