airflow.providers.microsoft.azure.operators.adls¶

屬性¶

DEFAULT_AZURE_DATA_LAKE_CONN_ID

類¶

`ADLSCreateObjectOperator`	從傳入資料建立新物件到 Azure Data Lake 的指定檔案。
`ADLSDeleteOperator`	刪除指定路徑中的檔案。
`ADLSListOperator`	列出指定路徑中的所有檔案。

模組內容¶

airflow.providers.microsoft.azure.operators.adls.DEFAULT_AZURE_DATA_LAKE_CONN_ID = 'azure_data_lake_default'[source]¶

class airflow.providers.microsoft.azure.operators.adls.ADLSCreateObjectOperator(*, file_system_name, file_name, data, length=None, replace=False, azure_data_lake_conn_id=DEFAULT_AZURE_DATA_LAKE_CONN_ID, **kwargs)[source]¶

基類: airflow.models.BaseOperator

從傳入資料建立新物件到 Azure Data Lake 的指定檔案。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：ADLSCreateObjectOperator

引數:

file_system_name (str) – 檔案系統的名稱或 FileSystemProperties 的例項。
file_name (str) – 需要在檔案系統中建立的檔案的名稱。
data (bytes | str | collections.abc.Iterable[AnyStr] | IO[AnyStr]) – 將要上傳的資料。
length (int | None) – 資料大小（以位元組為單位）（可選）。
replace (bool) – 是否強制覆蓋現有檔案/目錄。如果為 False 且遠端路徑是目錄，無論是否會覆蓋任何檔案，都將退出。如果為 True，則僅實際覆蓋匹配的檔名。
azure_data_lake_conn_id (str) – 對 Azure Data Lake 連線的引用。

template_fields: collections.abc.Sequence[str] = ('file_system_name', 'file_name', 'data')[source]¶

ui_color = '#e4f0e8'[source]¶

file_system_name[source]¶

file_name[source]¶

replace = False[source]¶

data[source]¶

length = None[source]¶

azure_data_lake_conn_id = 'azure_data_lake_default'[source]¶

execute(context)[source]¶

建立運算子時派生。

Context 是渲染 jinja 模板時使用的相同字典。

有關更多上下文資訊，請參閱 get_template_context。

class airflow.providers.microsoft.azure.operators.adls.ADLSDeleteOperator(*, path, recursive=False, ignore_not_found=True, azure_data_lake_conn_id=DEFAULT_AZURE_DATA_LAKE_CONN_ID, **kwargs)[source]¶

基類: airflow.models.BaseOperator

刪除指定路徑中的檔案。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：ADLSDeleteOperator

引數:

path (str) – 要移除的目錄或檔案
recursive (bool) – 是否遍歷位置內的目錄並移除檔案
ignore_not_found (bool) – 如果要刪除的檔案未找到是否引發錯誤
azure_data_lake_conn_id (str) – 對 Azure Data Lake 連線的引用。

template_fields: collections.abc.Sequence[str] = ('path',)[source]¶

ui_color = '#901dd2'[source]¶

path[source]¶

recursive = False[source]¶

ignore_not_found = True[source]¶

azure_data_lake_conn_id = 'azure_data_lake_default'[source]¶

execute(context)[source]¶

建立運算子時派生。

Context 是渲染 jinja 模板時使用的相同字典。

有關更多上下文資訊，請參閱 get_template_context。

class airflow.providers.microsoft.azure.operators.adls.ADLSListOperator(*, path, azure_data_lake_conn_id=DEFAULT_AZURE_DATA_LAKE_CONN_ID, **kwargs)[source]¶

基類: airflow.models.BaseOperator

列出指定路徑中的所有檔案。

此運算子返回一個 Python 列表，其中包含可供: 下游任務中的 xcom 使用的檔名。

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：ADLSListOperator

引數:

path (str) – 查詢物件的 Azure Data Lake 路徑。支援 glob 字串（模板化）
azure_data_lake_conn_id (str) – 對 Azure Data Lake 連線的引用。

template_fields: collections.abc.Sequence[str] = ('path',)[source]¶

ui_color = '#901dd2'[source]¶

path[source]¶

azure_data_lake_conn_id = 'azure_data_lake_default'[source]¶

execute(context)[source]¶

建立運算子時派生。

Context 是渲染 jinja 模板時使用的相同字典。

有關更多上下文資訊，請參閱 get_template_context。