airflow.providers.databricks.plugins.databricks_workflow¶

屬性¶

`REPAIR_WAIT_ATTEMPTS`
`REPAIR_WAIT_DELAY`
`repair_databricks_view`
`repair_databricks_package`

類¶

`WorkflowJobRunLink`	構建一個用於監控 Databricks 作業執行的連結。
`WorkflowJobRepairAllFailedLink`	構建一個連結，用於傳送請求以修復 Databricks 工作流中所有失敗的任務。
`WorkflowJobRepairSingleTaskLink`	構建一個連結，用於傳送請求以修復單個 Databricks 任務。
`RepairDatabricksTasks`	從 Airflow 修復 Databricks 任務。
`DatabricksWorkflowPlugin`	Airflow 的 Databricks 工作流外掛。

函式¶

`get_auth_decorator`()
`get_databricks_task_ids`(group_id, task_map, log)	返回 Airflow 任務字典中所有 Databricks 任務 ID 的列表。
`get_launch_task_id`(task_group)	遞迴地從當前任務組或父任務組中檢索啟動任務 ID。
`get_task_instance`(operator, dttm[, session])
`get_xcom_result`(ti_key, key)

模組內容¶

airflow.providers.databricks.plugins.databricks_workflow.REPAIR_WAIT_ATTEMPTS[source]¶

airflow.providers.databricks.plugins.databricks_workflow.REPAIR_WAIT_DELAY[source]¶

airflow.providers.databricks.plugins.databricks_workflow.get_auth_decorator()[source]¶

airflow.providers.databricks.plugins.databricks_workflow.get_databricks_task_ids(group_id, task_map, log)[source]¶

返回 Airflow 任務字典中所有 Databricks 任務 ID 的列表。

引數:

group_id (str) – 任務組 ID。
task_map (dict[str, airflow.providers.databricks.operators.databricks.DatabricksTaskBaseOperator]) – 一個將任務 ID 對映到 BaseOperator 例項的字典。
log (logging.Logger) – 用於日誌記錄的 Logger。

返回值:

給定任務組的 Databricks 任務 ID 列表。

返回型別:

list[str]

airflow.providers.databricks.plugins.databricks_workflow.get_launch_task_id(task_group)[source]¶

遞迴地從當前任務組或父任務組中檢索啟動任務 ID。

引數:: task_group (airflow.utils.task_group.TaskGroup) – 待檢查的任務組
返回值:: 啟動任務 ID
返回型別:: str

airflow.providers.databricks.plugins.databricks_workflow.get_task_instance(operator, dttm, session=NEW_SESSION)[source]¶

airflow.providers.databricks.plugins.databricks_workflow.get_xcom_result(ti_key, key)[source]¶

class airflow.providers.databricks.plugins.databricks_workflow.WorkflowJobRunLink(context=None)[source]¶

繼承自: airflow.sdk.BaseOperatorLink, airflow.utils.log.logging_mixin.LoggingMixin

構建一個用於監控 Databricks 作業執行的連結。

name = '檢視 Databricks 作業執行'[source]¶: 連結名稱。這將在任務 UI 上顯示為按鈕名稱。

get_link(operator, dttm=None, *, ti_key=None)[source]¶

連結到外部系統。

引數:

operator (airflow.models.BaseOperator) – 此連結關聯的 Airflow operator 物件。
ti_key (airflow.models.taskinstance.TaskInstanceKey | None) – 要返回連結的 TaskInstance ID。

返回值:

連結到外部系統

返回型別:

str

class airflow.providers.databricks.plugins.databricks_workflow.WorkflowJobRepairAllFailedLink(context=None)[source]¶

繼承自: airflow.sdk.BaseOperatorLink, airflow.utils.log.logging_mixin.LoggingMixin

構建一個連結，用於傳送請求以修復 Databricks 工作流中所有失敗的任務。

name = '修復所有失敗的任務'[source]¶: 連結名稱。這將在任務 UI 上顯示為按鈕名稱。

get_link(operator, dttm=None, *, ti_key=None)[source]¶

連結到外部系統。

引數:

operator – 此連結關聯的 Airflow operator 物件。
ti_key (airflow.models.taskinstance.TaskInstanceKey | None) – 要返回連結的 TaskInstance ID。

返回值:

連結到外部系統

返回型別:

str

classmethod get_task_group_children(task_group)[source]¶

給定一個 TaskGroup，遞迴檢查其中的任何 TaskGroups，返回作為 Task 的子項。

引數:: task_group (airflow.utils.task_group.TaskGroup) – 一個 Airflow TaskGroup
返回值:: 一個字典，其中包含作為鍵的任務 ID 和作為值的任務。
返回型別:: dict[str, airflow.models.BaseOperator]

get_tasks_to_run(ti_key, operator, log)[source]¶

class airflow.providers.databricks.plugins.databricks_workflow.WorkflowJobRepairSingleTaskLink(context=None)[source]¶

繼承自: airflow.sdk.BaseOperatorLink, airflow.utils.log.logging_mixin.LoggingMixin

構建一個連結，用於傳送請求以修復單個 Databricks 任務。

name = '修復單個任務'[source]¶: 連結名稱。這將在任務 UI 上顯示為按鈕名稱。

get_link(operator, dttm=None, *, ti_key=None)[source]¶

連結到外部系統。

引數:

operator – 此連結關聯的 Airflow operator 物件。
ti_key (airflow.models.taskinstance.TaskInstanceKey | None) – 要返回連結的 TaskInstance ID。

返回值:

連結到外部系統

返回型別:

str

class airflow.providers.databricks.plugins.databricks_workflow.RepairDatabricksTasks[source]¶

繼承自: flask_appbuilder.BaseView, airflow.utils.log.logging_mixin.LoggingMixin

從 Airflow 修復 Databricks 任務。

default_view = 'repair'[source]¶: 此 BaseView 的預設檢視，與 url_for (方法名) 一起使用

repair(dag_id, run_id)[source]¶

airflow.providers.databricks.plugins.databricks_workflow.repair_databricks_view[source]¶

airflow.providers.databricks.plugins.databricks_workflow.repair_databricks_package[source]¶

class airflow.providers.databricks.plugins.databricks_workflow.DatabricksWorkflowPlugin[source]¶

繼承自: airflow.plugins_manager.AirflowPlugin

Airflow 的 Databricks 工作流外掛。

另請參閱

有關如何使用此外掛的更多資訊，請參閱指南：DatabricksWorkflowPlugin

name = 'databricks_workflow'[source]¶

operator_extra_links[source]¶

appbuilder_views[source]¶