airflow.providers.microsoft.azure.transfers.local_to_adls¶

類¶

LocalFilesystemToADLSOperator

上傳檔案到 Azure Data Lake。

模組內容¶

class airflow.providers.microsoft.azure.transfers.local_to_adls.LocalFilesystemToADLSOperator(*, local_path, remote_path, overwrite=True, nthreads=64, buffersize=4194304, blocksize=4194304, extra_upload_options=None, azure_data_lake_conn_id='azure_data_lake_default', **kwargs)[source]¶

Bases: airflow.models.BaseOperator

上傳檔案到 Azure Data Lake。

另請參閱

有關如何使用此 operator 的更多資訊，請參閱此指南： LocalFilesystemToADLSOperator

引數:

local_path (str) – 本地路徑。可以是單個檔案、目錄（此時遞迴上傳）或 glob 模式。不支援使用 ** 的遞迴 glob 模式
remote_path (str) – 遠端上傳路徑；如果上傳多個檔案，這是要寫入的根目錄
nthreads (int) – 使用的執行緒數。如果為 None，則使用核心數。
overwrite (bool) – 是否強制覆蓋現有檔案/目錄。如果為 False 且遠端路徑是目錄，則無論是否有檔案會被覆蓋，都會退出。如果為 True，則僅實際覆蓋同名檔案
buffersize (int) – int [2**22] 內部緩衝區的位元組數。此塊不能大於一個塊（chunk），且不能小於一個塊（block）
blocksize (int) – int [2**22] 每個塊的位元組數。在每個塊（chunk）內，我們為每個 API 呼叫寫入一個更小的塊（block）。此塊（block）不能大於一個塊（chunk）
extra_upload_options (dict[str, Any] | None) – 新增到 hook 上傳方法的額外上傳選項
azure_data_lake_conn_id (str) – Azure Data Lake 連線的引用

template_fields: collections.abc.Sequence[str] = ('local_path', 'remote_path')[source]¶

ui_color = '#e4f0e8'[source]¶

local_path[source]¶

remote_path[source]¶

overwrite = True[source]¶

nthreads = 64[source]¶

buffersize = 4194304[source]¶

blocksize = 4194304[source]¶

extra_upload_options = None[source]¶

azure_data_lake_conn_id = 'azure_data_lake_default'[source]¶

execute(context)[source]¶

建立 operator 時派生（實現）此方法。

Context 是與渲染 jinja 模板時使用的字典相同的字典。

有關更多 context 資訊，請參閱 get_template_context。