Airflow 峰會 2025 將於 10 月 07-09 日舉行。立即註冊獲取早鳥票!

UI 概覽

Airflow UI 提供了一種強大的方式來監控、管理和排除資料管道和資料資產的故障。從 Airflow 3 開始,UI 進行了現代化外觀的更新,支援深色和淺色主題,並重新設計了導航體驗。

本指南以參考風格詳細介紹了關鍵的 UI 元件,並附有帶註釋的截圖,以幫助新手和經驗豐富的使用者。

注意

本指南中的截圖預設使用深色主題。部分檢視也以淺色主題顯示,以便進行比較。您可以從 Airflow UI 底部角落的使用者設定中切換主題。

主頁

主頁提供了系統狀態和最近活動的高層概覽。它是 Airflow 3 中的預設著陸頁,包括

  • 系統元件(如 MetaDatabase、Scheduler、Triggerer 和 Dag Processor)的健康指標

  • 按狀態過濾的 DAG 快速連結(例如,失敗的 DAG、正在執行的 DAG、活動的 DAG)

  • DAG 和任務例項歷史,顯示在可選時間範圍內的計數和成功/失敗率

  • 最近的資產事件,包括具體化和觸發的 DAG

此頁面對於快速評估環境的健康狀況以及識別最近的問題或資產觸發的事件非常有用。

Airflow Home Page showing system health, DAG/task stats, and asset events (Dark Mode)

Airflow Home Page showing system health, DAG/task stats, and asset events (Dark Mode)

DAG 列表檢視

當您點選主導航欄中的DAGs選項卡時,將出現 DAG 列表檢視。它顯示環境中所有可用的 DAG,並清晰概括了它們的狀態、最近執行和配置。

每行包括

  • DAG ID

  • 排程和下次執行時間

  • 最新 DAG 執行的狀態

  • 最近執行的條形圖

  • 標籤,可用於對 DAG 進行分組或過濾(例如,example, produces

  • 暫停/恢復開關

  • 訪問 DAG 級別檢視的連結

在檢視頂部,您可以

  • 使用 過濾器 按 DAG 狀態、排程狀態和標籤進行過濾

  • 使用 搜尋高階搜尋 (⌘+K) 查詢特定的 DAG

  • 使用下拉選單對列表進行排序(例如,最近執行開始日期)

DAG List View in dark mode showing search, filters, and DAG-level controls

DAG List View in light mode showing the same DAGs and actions for comparison

此列表中的某些 DAG 可能與資料資產互動。例如,由資產條件觸發的 DAG 可能會顯示彈出視窗,顯示上游資產輸入。

DAG List View showing asset condition popup (Dark Mode)

DAG List View showing asset condition popup (Light Mode)

DAG 詳情頁

點選列表中的 DAG 會開啟 DAG 詳情頁。此檢視集中訪問 DAG 的元資料、最近活動和任務級別診斷資訊。

關鍵元素包括

  • DAG 元資料,包括 ID、所有者、標籤、排程和最新 DAG 版本

  • 觸發 DAG、重新解析或暫停/恢復的操作按鈕

  • 選項卡式介面:概覽(最近失敗、執行計數、任務日誌);網格檢視(狀態熱力圖);圖檢視(任務依賴項);執行(完整執行歷史);任務(彙總統計);事件(系統或資產觸發);程式碼(DAG 源);以及詳情(擴充套件元資料)

此頁面還包括最近 DAG 執行的視覺時間線失敗日誌預覽,幫助使用者快速識別跨執行的問題。

DAG Details Page in dark mode showing overview dashboard and failure diagnostics

DAG Details Page in light mode showing overview dashboard and failure diagnostics

網格檢視

網格檢視是檢查 DAG 執行和任務狀態的主要介面。它提供了一種互動方式來除錯、重試或監控工作流隨時間的變化。

使用網格檢視可以

  • 一目瞭然地瞭解最近 DAG 執行的狀態

  • 透過顏色和工具提示識別失敗或重試的任務

  • 透過點選任務單元格採取行動,以檢視日誌或將任務例項標記為成功、失敗或已清除

  • 按名稱或部分 ID 過濾任務

  • 使用網格上方的下拉選單選擇執行範圍,例如“最近 25 次執行”

每行代表一個任務,每列代表一次 DAG 執行。您可以將滑鼠懸停在任何任務例項上以檢視更多詳情,或單擊以深入檢視日誌和元資料。

Grid View showing DAG run status matrix with varied task states (Dark Mode)

Grid View showing DAG run status matrix with varied task states (Light Mode)

圖檢視

圖檢視顯示了 DAG 的邏輯結構——任務如何連線、執行順序以及分支或重試如何配置。

此檢視在以下情況有用

  • 除錯任務未執行的原因(例如,因觸發規則被跳過)

  • 理解複雜管道中的任務依賴項

  • 檢查執行特定的任務狀態(例如,成功、失敗、上游失敗)

每個節點代表一個任務。邊顯示它們之間的依賴關係。您可以單擊任何任務來檢視其元資料和最近的執行歷史。

使用頂部的下拉選單在 DAG 執行之間切換,並檢視任務狀態在不同執行中如何變化。

Graph View showing DAG structure with no DAG run selected (Dark Mode)

Graph View showing DAG structure with no DAG run selected (Light Mode)

DAG 選項卡

除了網格檢視和圖檢視等互動式檢視外,DAG 詳情頁還包括其他幾個選項卡,提供更深入的洞察和元資料

執行選項卡

執行選項卡顯示所有 DAG 執行的可排序表格,以及它們的狀態、執行時長、執行型別和 DAG 版本。

DAG Runs Tab (Dark Mode)

DAG Runs Tab (Light Mode)

任務選項卡

任務選項卡顯示 DAG 中每個任務的元資料,包括 operator 型別、觸發規則、最近執行狀態和執行歷史。

DAG Tasks Tab (Dark Mode)

DAG Tasks Tab (Light Mode)

事件選項卡

事件選項卡顯示與 DAG 相關的結構化事件,例如 DAG 觸發和版本補丁。此選項卡對於 DAG 版本管理和故障排除更改特別有用。

DAG Events Tab (Dark Mode)

DAG Events Tab (Light Mode)

程式碼選項卡

程式碼選項卡顯示 DAG 定義的當前版本,包括上次解析的時間戳。使用者可以檢視任何特定 DAG 版本的程式碼。

DAG Code Tab (Dark Mode)

DAG Code Tab (Light Mode)

詳情選項卡

詳情選項卡提供 DAG 的配置詳情和元資料,包括排程、檔案位置、併發限制和版本識別符號。

DAG Details Tab (Dark Mode)

DAG Details Tab (Light Mode)

DAG 執行檢視

每個 DAG 執行都有其自己的檢視,透過在 DAG 的執行選項卡中選擇特定行來訪問。DAG 執行檢視顯示有關所選執行的元資料,以及任務級別詳細資訊、渲染的程式碼等。

DAG Run - Task Instances tab (dark mode)

關鍵元素包括

  • DAG 執行元資料,包括邏輯日期、執行型別、時長、DAG 版本和解析時間

  • 清除或標記執行或添加註釋的操作按鈕

  • 一個持久的網格檢視側邊欄,顯示最近 DAG 執行中的任務時長和狀態。這有助於快速發現重複出現的問題或效能趨勢。

DAG 執行選項卡

任務例項

顯示 DAG 執行中每個任務例項的狀態和元資料。列包括

  • 任務 ID

  • 狀態

  • 開始和結束日期

  • 嘗試次數

  • Operator 型別

  • 時長

  • DAG 版本

每行還包括一個迷你甘特圖風格的時間線,以視覺方式表示任務的時長。

DAG Run - Task Instances (light mode)

事件

如果可用,此選項卡列出促成此 DAG 執行執行的系統級別或資產觸發事件。

程式碼

顯示此執行被解析時的 DAG 原始碼。此檢視有助於除錯版本漂移或比較使用不同程式碼的 DAG 執行之間的行為。

hello >> airflow() 的 DAG 執行程式碼

DAG Run Code Snapshot - airflow() (dark mode)

DAG Run Code Snapshot - airflow() (light mode)

hello >> world() 的 DAG 執行程式碼

DAG Run Code Snapshot - world() (dark mode)

DAG Run Code Snapshot - world() (light mode)

詳情

提供 DAG 執行的擴充套件元資料,包括

  • 執行 ID 和觸發型別

  • 排隊時間、開始和結束時間以及時長

  • 資料區間邊界

  • 觸發源和執行配置

  • DAG 版本 ID 和捆綁包名稱

DAG Run - Details tab (dark mode)

DAG Run - Details tab (light mode)

圖檢視

顯示 DAG 的任務依賴結構,併疊加此特定執行中每個任務的狀態。這對於任務失敗路徑的視覺化除錯或識別下游阻塞非常有用。

每個節點包含任務時長的視覺化指示器。

DAG Run - Graph View (dark mode)

DAG Run - Graph View (light mode)

任務例項檢視

當您從 DAG 執行檢視中點選特定任務時,將進入任務例項檢視,其中顯示該單個任務執行的詳細日誌和元資料。

Task Logs (dark mode)

任務例項選項卡

每個任務例項都有一個選項卡式檢視,提供對日誌、渲染的模板、XComs 和執行元資料的訪問。

日誌

預設選項卡顯示任務日誌,包括系統輸出、錯誤訊息和跟蹤資訊。這是任務失敗時首先要檢視的地方。

Task Logs (light mode)

渲染的模板

顯示任務中模板化欄位的渲染版本。對於除錯上下文變數或驗證動態內容非常有用。

XCom

顯示透過 XCom.push() 推送的任何值或使用 TaskFlow 時 Python 函式返回的值。

Task Instance - XCom tab (dark mode)

Task Instance - XCom tab (light mode)

事件

如果存在,顯示與此特定任務例項執行相關的事件。

程式碼

顯示執行時解析的 DAG 原始碼。這有助於驗證任務執行時使用的 DAG 版本。

詳情

顯示有關任務例項的執行時元資料,包括

  • 任務 ID 和狀態

  • DAG 執行 ID、DAG 版本和捆綁包名稱

  • 使用的 Operator 和執行時長

  • Pool 和 slot 使用情況

  • Executor 和配置

Task Instance - Details tab (dark mode)

Task Instance - Details tab (light mode)

資產檢視

資產部分提供了一個專門的介面來監控和除錯以資產為中心的工作流。資產代表邏輯資料單元,例如檔案、表格或模型,任務可以生成或消費這些單元。Airflow 跟蹤這些依賴關係並提供視覺化,以便更好地理解它們的編排。

資產列表

資產列表顯示所有已知資產,按名稱分組。對於每個資產,您可以看到

  • 資產所屬的組(如果有)

  • 消費該資產的 DAG

  • 生成該資產的任務

將滑鼠懸停在 DAG 或任務計數上會顯示一個工具提示,其中包含生產者或消費者的完整列表。

Asset Graph View (dark mode)

Asset Graph View (light mode)

點選連結會將您帶到資產圖檢視。

資產圖檢視

資產圖檢視顯示資產的上下文,包括上游生產者和下游消費者。您可以使用此檢視來

  • 瞭解資產譜系和相關的 DAG

  • 手動觸發資產事件

  • 檢視最近的資產事件以及它們觸發的 DAG 執行

Asset Graph View (dark mode)

Asset Graph View (light mode)

DAG 檢視中的圖疊加層

當 DAG 包含生成資產或消費資產的任務時,您可以在 DAG 圖檢視上啟用資產疊加層。切換每個資產旁邊的開關以

  • 檢視資產如何在 DAG 之間流動

  • 檢查資產觸發的依賴關係

有兩種圖模式可用

  • 所有 DAG 依賴項:顯示所有 DAG 到 DAG 和任務級別的連線

    DAG Graph View - All Dependencies (dark mode)

    DAG Graph View - All Dependencies (light mode)

  • 外部條件:僅顯示透過資產事件觸發的 DAG

    DAG Graph View - External Conditions Only (dark mode)

    DAG Graph View - External Conditions Only (light mode)

管理檢視

管理選項卡提供系統級工具,用於配置和擴充套件 Airflow。這些檢視主要面向負責部署、整合和效能調優的管理員和平臺操作員。

主要頁面包括

  • 變數 – 儲存可從 DAG 訪問的鍵值對。變數可用於管理環境特定的引數或金鑰。

  • 連線 – 定義到外部系統(如資料庫、雲服務或 API)的連線 URI。這些由 Airflow operators 和 hooks 消費。

  • Pools – 透過限制分配給指定 pool 的併發執行任務數量來控制資源分配。對於管理爭用或配額受限系統非常有用。

  • Providers – 檢視已安裝的 provider 軟體包(例如,apache-airflow-providers-google),包括可用的 hooks、sensors 和 operators。這對於驗證 provider 版本或故障排除匯入錯誤非常有用。

  • 外掛 – 檢查透過自定義 operators、macros 或 UI 元素擴充套件平臺的已註冊 Airflow 外掛。

  • 配置 – 檢視從 airflow.cfg、環境變數或覆蓋的預設值解析的完整有效 Airflow 配置。這有助於除錯與 scheduler 行為、金鑰後端等相關的問題。

注意

管理選項卡僅對具有適當 RBAC 許可權的使用者可見。


_images/variable_hidden.png
_images/admin_connections.png
_images/admin_connections_add.png

此條目有用嗎?