airflow.providers.openlineage.extractors.base

屬性

DatasetSubclass

BaseFacetSubclass

OL_METHOD_NAME_START

OL_METHOD_NAME_COMPLETE

OL_METHOD_NAME_FAIL

OperatorLineage

血緣提取返回的結構。

BaseExtractor

抽象基礎提取器類。

DefaultExtractor

使用 get_openlineage_facets_on_start/complete/failure 方法的提取器。

模組內容

airflow.providers.openlineage.extractors.base.DatasetSubclass[source]
airflow.providers.openlineage.extractors.base.BaseFacetSubclass[source]
airflow.providers.openlineage.extractors.base.OL_METHOD_NAME_START = 'get_openlineage_facets_on_start'[source]
airflow.providers.openlineage.extractors.base.OL_METHOD_NAME_COMPLETE = 'get_openlineage_facets_on_complete'[source]
airflow.providers.openlineage.extractors.base.OL_METHOD_NAME_FAIL = 'get_openlineage_facets_on_failure'[source]
class airflow.providers.openlineage.extractors.base.OperatorLineage[source]

基類: Generic[DatasetSubclass, BaseFacetSubclass]

血緣提取返回的結構。

inputs: list[DatasetSubclass][source]
outputs: list[DatasetSubclass][source]
run_facets: dict[str, BaseFacetSubclass][source]
job_facets: dict[str, BaseFacetSubclass][source]
class airflow.providers.openlineage.extractors.base.BaseExtractor(operator)[source]

基類: abc.ABC, airflow.utils.log.logging_mixin.LoggingMixin

抽象基礎提取器類。

這主要用於維護對自定義提取器的支援。

operator[source]
classmethod get_operator_classnames()[source]
抽象方法:

獲取此提取器適用的運算子列表。

這是一個抽象方法,子類應該實現。有些運算子非常相似,一個提取器可以覆蓋它們。

extract()[source]
extract_on_complete(task_instance)[source]
extract_on_failure(task_instance)[source]
class airflow.providers.openlineage.extractors.base.DefaultExtractor(operator)[source]

基類: BaseExtractor

使用 get_openlineage_facets_on_start/complete/failure 方法的提取器。

classmethod get_operator_classnames()[source]

將此提取器分配給 *不* 任何運算子。

預設提取器的選擇不是基於類名,而是基於運算子上是否存在 get_openlineage_facets 方法。

extract_on_complete(task_instance)[source]
extract_on_failure(task_instance)[source]

這篇文章有幫助嗎?