tests.system.databricks.example_databricks
這是一個使用 DatabricksSubmitRunOperator 的 DAG 示例。在此示例中，我們建立了兩個按順序執行的任務。第一個任務是在工作空間路徑 “/test” 執行一個 notebook，第二個任務是執行一個上傳到 DBFS 的 JAR 包。這兩個任務都使用新的叢集。
由於我們為 notebook 任務設定了下游依賴，因此 spark jar 任務必須等到 notebook 任務成功完成後才會執行。
一次成功的執行定義為該執行的 result_state 為 “SUCCESS”。有關執行狀態的更多資訊，請參閱 https://docs.databricks.com/api/latest/jobs.html#runstate
模組內容
-
tests.system.databricks.example_databricks.ENV_ID[source]
-
tests.system.databricks.example_databricks.DAG_ID = 'example_databricks_operator'[source]
-
tests.system.databricks.example_databricks.QUERY_ID[source]
-
tests.system.databricks.example_databricks.WAREHOUSE_ID[source]
-
tests.system.databricks.example_databricks.job[source]
-
tests.system.databricks.example_databricks.test_run[source]