airflow.providers.google.cloud.transfers.gcs_to_local¶

類¶

GCSToLocalFilesystemOperator

從 Google Cloud Storage 下載檔案。

模組內容¶

class airflow.providers.google.cloud.transfers.gcs_to_local.GCSToLocalFilesystemOperator(*, bucket, object_name, filename=None, store_to_xcom_key=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, file_encoding='utf-8', **kwargs)[原始碼]¶

基類: airflow.models.BaseOperator

從 Google Cloud Storage 下載檔案。

如果提供了 filename，它會將檔案寫入指定位置；或者，可以將 store_to_xcom_key 引數設定為 True 以將檔案內容推送到 xcom。當檔案大小超出 xcom 的最大大小時，建議寫入檔案。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：GCSToLocalFilesystemOperator

引數：

bucket (str) – 物件所在的 Google Cloud Storage 儲存桶。不得包含 'gs://' 字首。（可模板化）
object_name (str) – 要在 Google cloud storage 儲存桶中下載的物件的名稱。（可模板化）
filename (str | None) – 檔案應下載到的本地檔案系統（運算子執行的位置）上的檔案路徑，包括檔名。（可模板化）如果未傳遞 filename，則下載的資料不會儲存在本地檔案系統上。
store_to_xcom_key (str | None) – 如果設定此引數，運算子會將下載的檔案內容推送到 XCom，其鍵在此引數中設定。如果未設定，則下載的資料不會推送到 XCom。（可模板化）
gcp_conn_id (str) – (可選) 用於連線到 Google Cloud 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 用於使用短期憑據模擬的可選服務帳號，或獲取列表中最後一個帳號的 access_token 所需的連結帳號列表，該帳號將在請求中被模擬。如果設定為字串，則此帳號必須授予源帳號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中各身份必須授予直接前置身份 Service Account Token Creator IAM 角色，其中列表中的第一個帳號將此角色授予源帳號。（可模板化）。
file_encoding (str) – 用於將 file_bytes 解碼為適合儲存到 XCom 的可序列化字串的可選編碼。（可模板化）。

template_fields: collections.abc.Sequence[str] = ('bucket', 'object_name', 'filename', 'store_to_xcom_key', 'impersonation_chain', 'file_encoding')[原始碼]¶

ui_color = '#f0eee4'[原始碼]¶

bucket[原始碼]¶

filename = None[原始碼]¶

object_name[原始碼]¶

store_to_xcom_key = None[原始碼]¶

gcp_conn_id = 'google_cloud_default'[原始碼]¶

impersonation_chain = None[原始碼]¶

file_encoding = 'utf-8'[原始碼]¶

execute(context)[原始碼]¶

在建立運算子時派生。

Context 與用於渲染 jinja 模板的字典相同。

有關更多 context，請參閱 get_template_context。

get_openlineage_facets_on_start()[原始碼]¶