airflow.providers.google.cloud.transfers.local_to_gcs¶
此模組包含用於將本地檔案上傳到 GCS 的運算子。
類¶
將一個檔案或檔案列表上傳到 Google Cloud Storage;可選地可以壓縮檔案進行上傳;可選地可以分多個塊上傳資料。 |
模組內容¶
- class airflow.providers.google.cloud.transfers.local_to_gcs.LocalFilesystemToGCSOperator(*, src, dst, bucket, gcp_conn_id='google_cloud_default', mime_type='application/octet-stream', gzip=False, chunk_size=None, impersonation_chain=None, **kwargs)[source]¶
基類:
airflow.models.BaseOperator將一個檔案或檔案列表上傳到 Google Cloud Storage;可選地可以壓縮檔案進行上傳;可選地可以分多個塊上傳資料。
另請參閱
有關如何使用此運算子的更多資訊,請參閱指南:LocalFilesystemToGCSOperator
- 引數:
src (str | list[str]) – 本地檔案路徑,或本地檔案列表。路徑可以是絕對路徑(例如 /path/to/file.ext)或相對路徑(例如 ../../foo/*/*.csv)。(模板化)
dst (str) – 在 GCS 指定儲存桶中的目標路徑(例如 /path/to/file.ext)。如果上傳多個檔案,請指定帶有斜槓結尾的物件字首(例如 /path/to/directory/)。(模板化)
bucket (str) – 要上傳到的儲存桶。(模板化)
gcp_conn_id (str) – (可選) 用於連線 Google Cloud 的連線 ID。
mime_type (str) – MIME 型別字串
gzip (bool) – 允許將檔案壓縮後以 gzip 格式上傳
chunk_size (int | None) – Blob 的塊大小,單位為位元組。這必須是 262144 位元組(256 KiB)的倍數。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號,用於使用短期憑據進行模擬,或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表,該賬號將在請求中被模擬。如果設定為字串,該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列,列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色,列表中第一個賬號將此角色授予發起賬號。(模板化)。
- template_fields: collections.abc.Sequence[str] = ('src', 'dst', 'bucket', 'impersonation_chain')[source]¶