airflow.providers.amazon.aws.transfers.gcs_to_s3¶
此模組包含 Google Cloud Storage 到 S3 的運算子。
類¶
將 Google Cloud Storage 儲存桶與 S3 儲存桶同步。 |
模組內容¶
- class airflow.providers.amazon.aws.transfers.gcs_to_s3.GCSToS3Operator(*, gcs_bucket, prefix=None, gcp_conn_id='google_cloud_default', dest_aws_conn_id='aws_default', dest_s3_key, dest_verify=None, replace=False, google_impersonation_chain=None, dest_s3_extra_args=None, s3_acl_policy=None, keep_directory_structure=True, match_glob=None, gcp_user_project=None, **kwargs)[source]¶
基類:
airflow.models.BaseOperator將 Google Cloud Storage 儲存桶與 S3 儲存桶同步。
另請參閱
有關如何使用此運算子的更多資訊，請參閱指南：Google Cloud Storage 到 Amazon S3
- 引數:
gcs_bucket (str) – 要查詢物件的 Google Cloud Storage 儲存桶。(templated)
prefix (str | None) – 用於過濾物件名稱以此字首開頭的字串。(templated)
gcp_conn_id (str) – (可選) 用於連線到 Google Cloud 的連線 ID。
dest_aws_conn_id (str | None) – 目標 S3 連線
dest_s3_key (str) – 用於儲存檔案的基礎 S3 鍵。(templated)
dest_verify (str | bool | None) –
是否驗證 S3 連線的 SSL 證書。預設情況下，SSL 證書會經過驗證。您可以提供以下值：
False: 不驗證 SSL 證書。SSL 仍將使用(除非 use_ssl 為 False)，但 SSL 證書不會被驗證。
path/to/cert/bundle.pem: 要使用的 CA 證書包的檔名。如果您想使用與 botocore 不同的 CA 證書包，可以指定此引數。
replace (bool) – 是否驗證目標儲存桶中檔案的存在。預設為 False。如果設定為 True，將上傳所有檔案，替換目標儲存桶中現有的檔案。如果設定為 False，將只上傳源中存在但目標儲存桶中不存在的檔案。
google_impersonation_chain (str | collections.abc.Sequence[str] | None) – （可選）要使用短期憑據模擬的 Google 服務賬號，或獲取列表中最後一個賬號的 access_token 所需的賬號鏈式列表，該賬號將在請求中被模擬。如果設定為字串，則該賬號必須向原始賬號授予 Service Account Token Creator IAM 角色。如果設定為序列，則列表中身份必須將 Service Account Token Creator IAM 角色授予直接前一個身份，其中列表中的第一個賬號將此角色授予原始賬號。(templated)
s3_acl_policy (str | None) – （可選）用於指定要上傳到 S3 的物件的預設 ACL 策略的字串
keep_directory_structure (bool) – (可選) 當設定為 False 時，儲存桶上檔案的路徑將在 dest_s3_key 中傳遞的路徑內重新建立。
match_glob (str | None) – (可選) 根據字串給定的 glob 模式過濾物件（例如，
'**/*/.json'）gcp_user_project (str | None) – (可選) 要為此請求計費的 Google Cloud 專案識別符號。Requester Pays 儲存桶必需。
- template_fields: collections.abc.Sequence[str] = ('gcs_bucket', 'prefix', 'dest_s3_key', 'google_impersonation_chain', 'gcp_user_project')[source]¶