日誌記錄和監控架構¶

Airflow 支援多種日誌記錄和監控機制，如下所示。

預設情況下，Airflow 支援將日誌記錄到本地檔案系統。這包括來自 Web 伺服器、排程器和執行任務的工作程序的日誌。這適用於開發環境和快速除錯。

對於雲部署，Airflow 還有社群貢獻的任務處理器，用於將日誌記錄到雲端儲存，例如 AWS、Google Cloud 和 Azure。

日誌記錄設定和選項可以在 Airflow 配置檔案中指定，該檔案照常需要對所有 Airflow 程序（Web 伺服器、排程器和工作程序）可用。

您可以透過在 Airflow 配置檔案中指定日誌記錄設定，或者使用高階功能進行高階配置，從而為每個 Airflow 元件自定義日誌記錄設定。

對於生產部署，我們建議使用 FluentD 捕獲日誌並將其傳送到 ElasticSearch 或 Splunk 等目標。

注意

有關配置日誌記錄的更多資訊，請參閱任務日誌記錄

類似地，我們建議使用 StatsD 從 Airflow 收集指標並將其傳送到 Prometheus 等目標。

注意

有關配置指標的更多資訊，請參閱指標配置