MySQL 到 Google Cloud Storage Operator¶

Google Cloud Storage (GCS) 服務用於儲存來自各種應用程式的大量資料。此頁面展示瞭如何將資料從 MySQL 複製到 GCS。

先決條件任務¶

要使用這些 Operator，您必須執行以下幾項操作

使用 Cloud Console 選擇或建立一個 Cloud Platform 專案。

為您的專案啟用結算，如 Google Cloud 文件中所述。

啟用 API，如 Cloud Console 文件中所述。
透過 pip 安裝 API 庫。
pip install 'apache-airflow[google]'
有關安裝的詳細資訊，請參閱此處。
設定 Google Cloud 連線.

MySQLToGCSOperator¶

MySQLToGCSOperator 允許您將資料從 MySQL 資料庫上傳到 GCS。

使用此 Operator 時，您可以選擇將上傳的資料壓縮為 gzip 格式。

以下是使用此 Operator 將資料上傳到 GCS 的示例。

tests/system/google/cloud/gcs/example_mysql_to_gcs.py

    mysql_to_gcs = MySQLToGCSOperator(
        task_id="mysql_to_gcs",
        mysql_conn_id=CONNECTION_ID,
        sql=SQL_SELECT,
        bucket=BUCKET_NAME,
        filename=FILE_NAME,
        export_format="csv",
    )

參考¶

更多資訊，請參閱：* MySQL 文件 * Google Cloud Storage 文件