airflow.providers.microsoft.azure.transfers.sftp_to_wasb¶

此模組包含 SFTP 到 Azure Blob 儲存的運算子。

屬性¶

WILDCARD

類¶

`SftpFile`
`SFTPToWasbOperator`	將檔案從 SFTP 伺服器傳輸到 Azure Blob 儲存。

模組內容¶

airflow.providers.microsoft.azure.transfers.sftp_to_wasb.WILDCARD = '*'[原始碼]¶

class airflow.providers.microsoft.azure.transfers.sftp_to_wasb.SftpFile[原始碼]¶

基類： tuple

sftp_file_path[原始碼]¶

blob_name[原始碼]¶

class airflow.providers.microsoft.azure.transfers.sftp_to_wasb.SFTPToWasbOperator(*, sftp_source_path, container_name, blob_prefix='', sftp_conn_id='sftp_default', wasb_conn_id='wasb_default', load_options=None, move_object=False, wasb_overwrite_object=False, create_container=False, **kwargs)[原始碼]¶

基類： airflow.models.BaseOperator

將檔案從 SFTP 伺服器傳輸到 Azure Blob 儲存。

另請參見

有關如何使用此運算子的更多資訊，請參閱指南：將資料從 SFTP 源路徑傳輸到 Blob 儲存

引數：

sftp_source_path (str) – SFTP 遠端路徑。這是從 SFTP 伺服器下載單個檔案或多個檔案的指定檔案路徑。您可以在路徑中使用且只能使用一個萬用字元。萬用字元可以出現在路徑內部或路徑末尾。
container_name (str) – 容器的名稱。
blob_prefix (str) – 用於命名 Blob 的字首。
sftp_conn_id (str) – SFTP 連線 ID。用於建立與 SFTP 伺服器連線的名稱或識別符號。
wasb_conn_id (str) – 對 wasb 連線的引用。
load_options (dict | None) – WasbHook.load_file() 接受的可選關鍵字引數。
move_object (bool) – 當 move object 為 True 時，物件將被移動而不是複製到新位置。這等同於 mv 命令而非 cp 命令。
wasb_overwrite_object (bool) – 要上傳的 Blob 是否應覆蓋當前資料。當 wasb_overwrite_object 為 True 時，它將覆蓋現有資料。如果設定為 False，則在 Blob 物件已存在的情況下，操作可能會因 ResourceExistsError 而失敗。
create_container (bool) – 在上傳 Blob 之前嘗試建立目標容器。如果目標容器可能尚不存在，這將非常有用。預設為 False。

template_fields: collections.abc.Sequence[str] = ('sftp_source_path', 'container_name', 'blob_prefix')[原始碼]¶

sftp_source_path[原始碼]¶

blob_prefix = ''[原始碼]¶

sftp_conn_id = 'sftp_default'[原始碼]¶

wasb_conn_id = 'wasb_default'[原始碼]¶

container_name[原始碼]¶

load_options[原始碼]¶

move_object = False[原始碼]¶

create_container = False[原始碼]¶

dry_run()[原始碼]¶

對此運算子執行模擬執行 - 僅渲染模板欄位。

execute(context)[原始碼]¶

將檔案從 SFTP 上傳到 Azure Blob 儲存。

get_sftp_files_map()[原始碼]¶

從源路徑獲取 SFTP 檔案，為此可以使用萬用字元。

get_tree_behavior()[原始碼]¶

從源路徑中提取與遠端資料夾互動的樹行為。

check_wildcards_limit()[原始碼]¶

檢查 SFTP 源路徑中是否使用了多個萬用字元。

property source_path_contains_wildcard: bool[原始碼]¶

檢查 SFTP 源路徑是否包含萬用字元。

property sftp_hook: airflow.providers.sftp.hooks.sftp.SFTPHook[原始碼]¶

要重用的 sftp Hook 屬性。

get_full_path_blob(file)[原始碼]¶

根據上一個名稱和 blob_prefix 變數獲取 Blob 名稱。

copy_files_to_wasb(sftp_files)[原始碼]¶

將檔案列表從 sftp_files 上傳到 Azure Blob 儲存並使用新的 Blob 名稱。

delete_files(uploaded_files)[原始碼]¶

刪除已移動到 Azure Blob 儲存的 SFTP 檔案。