airflow.providers.google.cloud.transfers.sftp_to_gcs¶

此模組包含 SFTP 到 Google Cloud Storage 的 Operator (運算元)。

屬性¶

WILDCARD

類¶

SFTPToGCSOperator

將檔案從 SFTP 伺服器傳輸到 Google Cloud Storage。

模組內容¶

airflow.providers.google.cloud.transfers.sftp_to_gcs.WILDCARD = '*'[source]¶

class airflow.providers.google.cloud.transfers.sftp_to_gcs.SFTPToGCSOperator(*, source_path, destination_bucket, destination_path=None, gcp_conn_id='google_cloud_default', sftp_conn_id='ssh_default', mime_type='application/octet-stream', gzip=False, move_object=False, impersonation_chain=None, sftp_prefetch=True, use_stream=False, **kwargs)[source]¶

基類: airflow.models.BaseOperator

將檔案從 SFTP 伺服器傳輸到 Google Cloud Storage。

另請參閱

有關如何使用此 Operator (運算元) 的更多資訊，請參閱指南: Operator

引數:

source_path (str) – SFTP 遠端路徑。這是從 SFTP 伺服器下載單個檔案或多個檔案時指定的路徑。您只能在路徑中使用一個萬用字元。萬用字元可以出現在路徑內部或路徑末尾。
destination_bucket (str) – 要上傳到的儲存桶。
destination_path (str | None) – 目標 Google Cloud Storage 儲存桶中物件的名稱。如果未提供 destination_path，檔案將放置在儲存桶的主路徑中。如果在 destination_path 引數中提供了萬用字元，這將是新增到最終目標物件路徑前面的字首。
gcp_conn_id (str) – (可選) 用於連線到 Google Cloud 的連線 ID。
sftp_conn_id (str) – SFTP 連線 ID。用於建立與 SFTP 伺服器連線的名稱或識別符號。
mime_type (str) – MIME 型別字串
gzip (bool) – 允許將檔案壓縮並以 gzip 格式上傳
move_object (bool) – 當 move_object 為 True 時，物件會被移動而不是複製到新位置。這相當於 mv 命令，而不是 cp 命令。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務帳號，用於使用短期憑據模擬身份，或用於獲取列表中最後一個帳號的 access_token 的帳號鏈，該帳號將在請求中被模擬。如果設定為字串，則該帳號必須授予發起帳號 Service Account Token Creator IAM 角色。如果設定為序列，則列表中的身份必須將其 Service Account Token Creator IAM 角色授予直接前一個身份，列表中第一個帳號將此角色授予發起帳號（模板化）。
sftp_prefetch (bool) – 是否啟用 SFTP 預取，預設為 True。
use_stream (bool) – 確定從 SFTP 到 GCS 的傳輸方法。當 False（預設）時，檔案會先下載到本地再上傳（可能需要大量磁碟空間）。當 True 時，檔案會直接進行流式傳輸，不使用本地磁碟。預設為 False。

template_fields: collections.abc.Sequence[str] = ('source_path', 'destination_path', 'destination_bucket', 'impersonation_chain')[source]¶

source_path[source]¶

destination_path = None[source]¶

destination_bucket[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

mime_type = 'application/octet-stream'[source]¶

gzip = False[source]¶

sftp_conn_id = 'ssh_default'[source]¶

move_object = False[source]¶

impersonation_chain = None[source]¶

sftp_prefetch : bool = True[source]¶

use_stream : bool = False[source]¶

屬性 sftp_hook[source]¶

execute(context)[source]¶

建立 operator (運算元) 時派生。

上下文與渲染 jinja 模板時使用的字典相同。

有關更多上下文資訊，請參閱 get_template_context。

get_openlineage_facets_on_start()[source]¶