Google Cloud BigQuery 到 Microsoft SQL Server 傳輸運算子¶

Google Cloud BigQuery 是 Google Cloud 提供的無伺服器資料倉庫服務。Microsoft SQL Server (MsSQL) 是由 Microsoft 開發的關係型資料庫管理系統。此運算子可用於將資料從 BigQuery 表複製到 MSSQL。

前置任務¶

要使用這些運算子，您必須做以下幾件事

使用 Cloud Console 選擇或建立一個 Cloud Platform 專案。

為您的專案啟用計費，具體說明請參見 Google Cloud 文件。

啟用 API，具體說明請參見 Cloud Console 文件。
透過 pip 安裝 API 庫。
pip install 'apache-airflow[google]'
詳細資訊請參見安裝。
設定 Google Cloud 連線.

運算子¶

將資料從 BigQuery 表複製到 MSSQL 是透過 BigQueryToMsSqlOperator 運算子來執行的。

使用 Jinja 模板配合 target_table_name, impersonation_chain, dataset_id, table_id, source_project_dataset_table 動態定義值。

您可以使用引數 selected_fields 來限制要複製的欄位（預設為所有欄位），也可以使用引數 replace 來覆蓋目標表而不是追加資料。更多資訊，請參閱上方連結。

傳輸資料¶

以下運算子將資料從 BigQuery 表複製到 MsSQL。

tests/system/google/cloud/bigquery/example_bigquery_to_mssql.py

bigquery_to_mssql = BigQueryToMsSqlOperator(
    task_id="bigquery_to_mssql",
    mssql_conn_id=CONNECTION_ID,
    source_project_dataset_table=f"{PROJECT_ID}.{BIGQUERY_DATASET_NAME}.{BIGQUERY_TABLE}",
    target_table_name=SQL_TABLE,
    replace=False,
)

參考¶

更多資訊，請參閱