DatabricksWorkflowPlugin¶
概述¶
DatabricksWorkflowPlugin 透過為任務提供連結來增強 Airflow UI，允許使用者在 Databricks 工作區中檢視 Databricks 作業執行。此外，它還提供在工作流中修復任務的連結。
功能¶
任務級別連結: 在工作流中，每個任務都包含指向作業執行的連結以及用於修復單個任務的連結。
工作流級別連結: 在工作流級別，對於作業啟動任務，外掛提供了修復所有失敗任務的連結以及指向 Databricks 工作區中作業執行的連結（允許使用者在 Databricks 帳戶中監控作業）。
示例¶
單個任務的作業執行連結和修復連結:
工作流級別連結，用於指向作業執行和修復所有失敗任務:
注意¶
Databricks 不允許修復在工作流外部啟動的單個任務的作業。因此，對於這些任務，僅提供作業執行連結。
用法¶
理想情況下，安裝 provider 也將安裝此外掛，並且它應該在您的部署中自動工作。但是，如果自定義配置阻止了外掛的使用，請確保在您的 Airflow 環境中正確安裝和配置了此外掛以利用其功能。由於連結已嵌入到相關的 operators 中，因此外掛將自動檢測 Databricks 作業。