airflow.providers.microsoft.azure.log.wasb_task_handler¶

類¶

`WasbRemoteLogIO`	便於配置使用類名作為日誌記錄器的超類。
`WasbTaskHandler`	WasbTaskHandler 是一個處理和讀取任務例項日誌的 Python 日誌處理程式。

模組內容¶

class airflow.providers.microsoft.azure.log.wasb_task_handler.WasbRemoteLogIO(context=None)[source]¶

基類: airflow.utils.log.logging_mixin.LoggingMixin

便於配置使用類名作為日誌記錄器的超類。

remote_base: str[source]¶

base_log_folder: pathlib.Path[source]¶

delete_local_copy: bool[source]¶

wasb_container: str[source]¶

processors = ()[source]¶

upload(path, ti)[source]¶

將給定的日誌路徑上傳到遠端儲存。

property hook[source]¶: 返回 WasbHook。

read(relative_path, ti)[source]¶

wasb_log_exists(remote_log_location)[source]¶

檢查 remote_log_location 是否存在於遠端儲存中。

引數:: remote_log_location (str) – 日誌在遠端儲存中的位置
返回:: 如果位置存在則返回 True，否則返回 False
返回型別:: bool

wasb_read(remote_log_location, return_error=False)[source]¶

返回在 remote_log_location 找到的日誌。如果找不到日誌或發生錯誤，則返回 ‘’。

引數:

remote_log_location (str) – 日誌在遠端儲存中的位置
return_error (bool) – 如果為 True，則在發生錯誤時返回字串錯誤訊息。否則，在發生錯誤時返回 ‘’。

write(log, remote_log_location, append=True)[source]¶

將日誌寫入 remote_log_location。如果未建立 hook，則靜默失敗。

引數:

log (str) – 要寫入 remote_log_location 的日誌
remote_log_location (str) – 日誌在遠端儲存中的位置
append (bool) – 如果為 False，任何現有日誌檔案將被覆蓋。如果為 True，新日誌將附加到任何現有日誌之後。

class airflow.providers.microsoft.azure.log.wasb_task_handler.WasbTaskHandler(base_log_folder, wasb_log_folder, wasb_container, **kwargs)[source]¶

基類: airflow.utils.log.file_task_handler.FileTaskHandler, airflow.utils.log.logging_mixin.LoggingMixin

WasbTaskHandler 是一個處理和讀取任務例項日誌的 Python 日誌處理程式。

它擴充套件了 airflow FileTaskHandler，並上傳和讀取 Wasb 遠端儲存。

trigger_should_wrap = True[source]¶

handler: logging.FileHandler | None = None[source]¶

log_relative_path = ''[source]¶

closed = False[source]¶

upload_on_close = True[source]¶

io[source]¶

set_context(ti, *, identifier=None)[source]¶

為 airflow 任務處理程式提供 task_instance 上下文。

通常返回 None。但如果屬性 maintain_propagate 被設定為 propagate，則返回 sentinel MAINTAIN_PROPAGATE。這會覆蓋在每次呼叫 set_context 時將 propagate 設定為 False 的預設行為。在編寫本文時，此功能僅用於單元測試。

引數:

ti (airflow.models.taskinstance.TaskInstance) – 任務例項物件
identifier (str | None) – 如果設定，則向日志文件新增字尾。用於在任務或觸發器執行之外的上下文將異常訊息中繼到任務日誌。

close()[source]¶

關閉並將本地日誌檔案上傳到 Wasb 遠端儲存。