airflow.providers.redis.log.redis_task_handler

RedisTaskHandler

RedisTaskHandler 是一個 Python 日誌處理器,用於處理和讀取任務例項日誌。

模組內容

class airflow.providers.redis.log.redis_task_handler.RedisTaskHandler(base_log_folder, max_lines=10000, ttl_seconds=60 * 60 * 24 * 28, conn_id=None)[source]

基類: airflow.utils.log.file_task_handler.FileTaskHandler, airflow.utils.log.logging_mixin.LoggingMixin

RedisTaskHandler 是一個 Python 日誌處理器,用於處理和讀取任務例項日誌。

它擴充套件了 airflow FileTaskHandler,並上傳日誌到 Redis 和從 Redis 讀取日誌。

引數:
  • base_log_folder (str) – 用於在本地儲存日誌的基礎資料夾

  • max_lines (int) – 要儲存的最大日誌行數。如果省略,則為 10000。

  • ttl_seconds (int) – 要儲存日誌的最大秒數。如果省略,則相當於 28 天。

  • conn_id (str | None) – 用於 Redis 鉤子的 Airflow 連線 ID。如果省略或為 None,則使用選項 logging.remote_log_conn_id 中指定的 ID。

trigger_should_wrap = True[source]
handler: _RedisHandler | None = None[source]
max_lines = 10000[source]
ttl_seconds = 2419200[source]
conn_id[source]
property conn[source]
set_context(ti, **kwargs)[source]

為 Airflow 任務處理器提供任務例項上下文。

通常返回 None。但如果屬性 maintain_propagate 被設定為 propagate,則返回哨兵值 MAINTAIN_PROPAGATE。這將覆蓋在呼叫 set_context 時將 propagate 設定為 False 的預設行為。截至撰寫本文時,此功能僅用於單元測試。

引數:
  • ti (airflow.models.TaskInstance) – 任務例項物件

  • identifier – 如果設定,則向日志文件名新增字尾。用於在任務或觸發器執行以外的上下文中,將異常訊息中繼到任務日誌時使用。

此條目有幫助嗎?