airflow.providers.cncf.kubernetes.sensors.spark_kubernetes¶

類¶

SparkKubernetesSensor

檢查 Kubernetes 叢集中的 sparkApplication 物件。

模組內容¶

class airflow.providers.cncf.kubernetes.sensors.spark_kubernetes.SparkKubernetesSensor(*, application_name, attach_log=False, namespace=None, container_name='spark-kubernetes-driver', kubernetes_conn_id='kubernetes_default', api_group='sparkoperator.k8s.io', api_version='v1beta2', **kwargs)[source]¶

基類: airflow.sensors.base.BaseSensorOperator

檢查 Kubernetes 叢集中的 sparkApplication 物件。

另請參閱

有關 Spark Application 物件的更多詳情，請參閱以下參考資料: https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/blob/v1beta2-1.1.0-2.4.5/docs/api-docs.md#sparkapplication

引數:

application_name (str) – Spark Application 資源名稱
namespace (str | None) – sparkApplication 所在的 Kubernetes namespace
container_name (str) – sparkApplication 所在的 Kubernetes 容器名稱
kubernetes_conn_id (str) – 連線到 Kubernetes 叢集的 kubernetes 連線。
attach_log (bool) – 確定驅動程式 Pod 的日誌是否應附加到感測器日誌中
api_group (str) – sparkApplication 的 Kubernetes API 組
api_version (str) – sparkApplication 的 Kubernetes API 版本

template_fields: collections.abc.Sequence[str] = ('application_name', 'namespace')[source]¶

FAILURE_STATES = ('FAILED', 'UNKNOWN')[source]¶

SUCCESS_STATES = ('COMPLETED',)[source]¶

application_name[source]¶

attach_log = False[source]¶

namespace = None[source]¶

container_name = 'spark-kubernetes-driver'[source]¶

kubernetes_conn_id = 'kubernetes_default'[source]¶

api_group = 'sparkoperator.k8s.io'[source]¶

api_version = 'v1beta2'[source]¶

property hook: airflow.providers.cncf.kubernetes.hooks.kubernetes.KubernetesHook[source]¶

poke(context)[source]¶

派生此類時覆蓋此方法。