airflow.providers.alibaba.cloud.log.oss_task_handler

類

OSSRemoteLogIO

方便的超類，用於配置帶有類名的記錄器。

OSSTaskHandler

OSSTaskHandler 是一個 Python 日誌處理器，用於處理和讀取任務例項日誌。

模組內容

class airflow.providers.alibaba.cloud.log.oss_task_handler.OSSRemoteLogIO(context=None)[source]

基類: airflow.utils.log.logging_mixin.LoggingMixin

方便的超類，用於配置帶有類名的記錄器。

base_log_folder: pathlib.Path[source]
remote_base: str = ''[source]
delete_local_copy: bool = True[source]
processors = ()[source]
upload(path, ti)[source]

將給定的日誌路徑上傳到遠端儲存。

property base_folder[source]
property bucket_name[source]
property hook[source]
read(relative_path, ti)[source]
oss_log_exists(remote_log_location)[source]

檢查 remote_log_location 是否存在於遠端儲存中。

引數：

remote_log_location – 日誌在遠端儲存中的位置

返回：

如果位置存在則返回 True，否則返回 False

oss_read(remote_log_location, return_error=False)[source]

返回 remote_log_location 處的日誌，如果找不到日誌或發生錯誤則返回 ''。

引數：

  • remote_log_location – 日誌在遠端儲存中的位置

  • return_error – 如果為 True，則在發生錯誤時返回字串錯誤訊息。否則，在發生錯誤時返回 ''。

oss_write(log, remote_log_location, append=True)[source]

將日誌寫入 remote_log_location 並返回 True；靜默失敗並在發生錯誤時返回 False。

引數：

  • log – 要寫入 remote_log_location 的日誌

  • remote_log_location – 日誌在遠端儲存中的位置

  • append – 如果為 False，則覆蓋任何現有日誌檔案。如果為 True，則將新日誌附加到現有日誌中。

返回：

日誌是否成功寫入遠端位置。

返回型別：

bool

class airflow.providers.alibaba.cloud.log.oss_task_handler.OSSTaskHandler(base_log_folder, oss_log_folder, **kwargs)[source]

基類: airflow.utils.log.file_task_handler.FileTaskHandler, airflow.utils.log.logging_mixin.LoggingMixin

OSSTaskHandler 是一個 Python 日誌處理器，用於處理和讀取任務例項日誌。

擴充套件了 airflow FileTaskHandler，並上傳到 OSS 遠端儲存並從其中讀取。

log_relative_path = ''[source]
closed = False[source]
upload_on_close : bool = True[source]
delete_local_copy[source]
io[source]
set_context(ti)[source]

設定處理器的上下文。

close()[source]

關閉並將本地日誌檔案上傳到遠端儲存 OSS。

此條目是否有幫助？