DatabricksRunNowOperator

使用 DatabricksRunNowOperator 透過 api/2.1/jobs/run-now API 端點觸發現有 Databricks 作業的執行。

使用運算子

有兩種方式例項化此運算子。第一種方式是，您可以獲取通常用於呼叫 api/2.1/jobs/run-now 端點的 JSON 負載，並透過 json 引數將其直接傳遞給我們的 DatabricksRunNowOperator。

另一種實現相同功能的方式是直接使用 DatabricksRunNowOperator 的命名引數。請注意，jobs/run-now 端點中的每個頂層引數都恰好對應一個命名引數。

唯一必需的引數是

  • job_id - 指定現有 Databricks 作業的 ID

  • job_name - 現有 Databricks 作業的名稱。如果找不到作業，或者有多個同名作業，則會丟擲異常。

所有其他引數都是可選的，並在 DatabricksRunNowOperator 的文件中描述。例如，您可以根據作業中任務的型別，使用以下引數之一將附加引數傳遞給作業

  • notebook_params

  • python_params

  • python_named_params

  • jar_params

  • spark_submit_params

  • idempotency_token

  • repair_run

  • cancel_previous_runs

DatabricksRunNowDeferrableOperator

`DatabricksRunNowOperator` 運算子的可推遲版本。

它允許使用 Airflow 2.2.0 中引入的新功能更有效地利用 Airflow worker。

本條目有幫助嗎？