從本地檔案系統上傳資料到 Google Cloud Storage¶

Google Cloud Storage (GCS) 用於儲存來自各種應用程式的大量資料。本頁展示瞭如何將資料從本地檔案系統上傳到 GCS。

前置任務¶

要使用這些運算子，您必須執行以下幾項操作

使用 Cloud Console 選擇或建立 Cloud Platform 專案。

為您的專案啟用計費，具體請參閱 Google Cloud 文件中的說明。

啟用 API，具體請參閱 Cloud Console 文件中的說明。
透過 pip 安裝 API 庫。
pip install 'apache-airflow[google]'
詳細資訊請參閱安裝。
設定 Google Cloud 連線.

LocalFilesystemToGCSOperator¶

LocalFilesystemToGCSOperator 允許您將資料從本地檔案系統上傳到 GCS。

使用此運算子時，您可以選擇性地壓縮上傳的資料。該運算子還支援選擇性地以多個分塊上傳資料。

以下是使用此運算子將檔案上傳到 GCS 的示例。

tests/system/google/cloud/gcs/example_gcs_upload_download.py

    upload_file = LocalFilesystemToGCSOperator(
        task_id="upload_file",
        src=UPLOAD_FILE_PATH,
        dst=FILE_NAME,
        bucket=BUCKET_NAME,
    )

參考資料¶

更多資訊請參閱

Google Cloud Storage 文件