airflow.providers.amazon.aws.transfers.s3_to_sftp

S3ToSFTPOperator

此運算子能夠將檔案從 S3 傳輸到 SFTP 伺服器。

模組內容

class airflow.providers.amazon.aws.transfers.s3_to_sftp.S3ToSFTPOperator(*, s3_bucket, s3_key, sftp_path, sftp_conn_id='ssh_default', aws_conn_id='aws_default', **kwargs)[source]

繼承自: airflow.models.BaseOperator

此運算子能夠將檔案從 S3 傳輸到 SFTP 伺服器。

另請參閱

有關如何使用此運算子的更多資訊,請查閱指南: Amazon S3 To SFTP transfer operator

引數:
  • sftp_conn_id (str) – SFTP 連線 ID。用於建立與 SFTP 伺服器連線的名稱或識別符號。

  • sftp_path (str) – SFTP 遠端路徑。這是將檔案上傳到 SFTP 伺服器的指定檔案路徑。

  • aws_conn_id (str | None) – 用於 AWS 憑據的 Airflow 連線。如果此引數為 None 或為空,則使用預設的 boto3 行為。如果在分散式環境中執行 Airflow 且 aws_conn_id 為 None 或為空,則將使用預設的 boto3 配置(並且必須在每個工作節點上維護)。

  • s3_bucket (str) – 目標 S3 儲存桶。這是從中下載檔案的 S3 儲存桶。

  • s3_key (str) – 目標 S3 鍵。這是從 S3 下載檔案的指定檔案路徑。

template_fields: collections.abc.Sequence[str] = ('s3_key', 'sftp_path', 's3_bucket')[source]
sftp_conn_id = 'ssh_default'[source]
sftp_path[source]
s3_bucket[source]
s3_key[source]
aws_conn_id = 'aws_default'[source]
static get_s3_key(s3_key)[source]

解析正確的 S3 鍵格式,無論 S3 URL 是如何傳遞的。

execute(context)[source]

在建立運算子時推導。

上下文與渲染 jinja 模板時使用的字典相同。

有關更多上下文資訊,請參閱 get_template_context。

此條目有幫助嗎?