airflow.providers.amazon.aws.transfers.sftp_to_s3¶

類¶

SFTPToS3Operator

將檔案從 SFTP 伺服器傳輸到 Amazon S3。

模組內容¶

類 airflow.providers.amazon.aws.transfers.sftp_to_s3.SFTPToS3Operator(*, s3_bucket, s3_key, sftp_path, sftp_conn_id='ssh_default', s3_conn_id='aws_default', use_temp_file=True, fail_on_file_not_exist=True, **kwargs)[source]¶

基類: airflow.models.BaseOperator

將檔案從 SFTP 伺服器傳輸到 Amazon S3。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南: SFTP 到 Amazon S3 傳輸運算子

引數:

sftp_conn_id (str) – SFTP 連線 ID。用於建立與 SFTP 伺服器連線的名稱或識別符號。
sftp_path (str) – SFTP 遠端路徑。這是從 SFTP 伺服器下載檔案時指定的路徑。
s3_conn_id (str) – S3 連線 ID。用於建立與 S3 連線的名稱或識別符號。
s3_bucket (str) – 目標 S3 儲存桶。這是檔案上傳到的 S3 儲存桶。
s3_key (str) – 目標 S3 鍵。這是檔案上傳到 S3 時指定的路徑。
use_temp_file (bool) – 如果為 True，則先將檔案複製到本地；如果為 False，則直接從 SFTP 流式傳輸檔案到 S3。
fail_on_file_not_exist (bool) – 如果為 True，則當檔案不存在時運算子會失敗；如果為 False，則運算子不會失敗並跳過傳輸。預設為 True。

template_fields: collections.abc.Sequence[str] = ('s3_key', 'sftp_path', 's3_bucket')[source]¶

sftp_conn_id = 'ssh_default'[source]¶

sftp_path[source]¶

s3_bucket[source]¶

s3_key[source]¶

s3_conn_id = 'aws_default'[source]¶

use_temp_file = True[source]¶

fail_on_file_not_exist = True[source]¶

靜態 get_s3_key(s3_key)[source]¶

無論 S3 URL 以何種方式傳入，都解析出 S3 鍵的正確格式。

execute(context)[source]¶

建立運算子時派生。

Context 是用於渲染 Jinja 模板時使用的相同字典。

有關更多 Context 資訊，請參閱 get_template_context。