airflow.providers.google.cloud.transfers.local_to_gcs

此模組包含用於將本地檔案上傳到 GCS 的運算子。

LocalFilesystemToGCSOperator

將一個檔案或檔案列表上傳到 Google Cloud Storage;可選地可以壓縮檔案進行上傳;可選地可以分多個塊上傳資料。

模組內容

class airflow.providers.google.cloud.transfers.local_to_gcs.LocalFilesystemToGCSOperator(*, src, dst, bucket, gcp_conn_id='google_cloud_default', mime_type='application/octet-stream', gzip=False, chunk_size=None, impersonation_chain=None, **kwargs)[source]

基類: airflow.models.BaseOperator

將一個檔案或檔案列表上傳到 Google Cloud Storage;可選地可以壓縮檔案進行上傳;可選地可以分多個塊上傳資料。

另請參閱

有關如何使用此運算子的更多資訊,請參閱指南:LocalFilesystemToGCSOperator

引數:
  • src (str | list[str]) – 本地檔案路徑,或本地檔案列表。路徑可以是絕對路徑(例如 /path/to/file.ext)或相對路徑(例如 ../../foo/*/*.csv)。(模板化)

  • dst (str) – 在 GCS 指定儲存桶中的目標路徑(例如 /path/to/file.ext)。如果上傳多個檔案,請指定帶有斜槓結尾的物件字首(例如 /path/to/directory/)。(模板化)

  • bucket (str) – 要上傳到的儲存桶。(模板化)

  • gcp_conn_id (str) – (可選) 用於連線 Google Cloud 的連線 ID。

  • mime_type (str) – MIME 型別字串

  • gzip (bool) – 允許將檔案壓縮後以 gzip 格式上傳

  • chunk_size (int | None) – Blob 的塊大小,單位為位元組。這必須是 262144 位元組(256 KiB)的倍數。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務賬號,用於使用短期憑據進行模擬,或者獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表,該賬號將在請求中被模擬。如果設定為字串,該賬號必須授予發起賬號 Service Account Token Creator IAM 角色。如果設定為序列,列表中的身份必須授予直接前一個身份 Service Account Token Creator IAM 角色,列表中第一個賬號將此角色授予發起賬號。(模板化)。

template_fields: collections.abc.Sequence[str] = ('src', 'dst', 'bucket', 'impersonation_chain')[source]
src[source]
dst[source]
bucket[source]
gcp_conn_id = 'google_cloud_default'[source]
mime_type = 'application/octet-stream'[source]
gzip = False[source]
chunk_size = None[source]
impersonation_chain = None[source]
execute(context)[source]

將一個檔案或檔案列表上傳到 Google Cloud Storage。

get_openlineage_facets_on_start()[source]

此條目有幫助嗎?