tests.system.cncf.kubernetes.example_spark_kubernetes¶

這是一個使用 SparkKubernetesOperator 和 SparkKubernetesSensor 的示例 DAG。在此示例中，我們建立了兩個按順序執行的任務。第一個任務是在 Kubernetes 叢集上提交 sparkApplication（示例使用 spark-pi 應用）。第二個任務是檢查第一個任務提交的 sparkApplication 的最終狀態。

Spark-on-k8s operator 需要已安裝在 Kubernetes 上 https://github.com/GoogleCloudPlatform/spark-on-k8s-operator

屬性¶

`ENV_ID`
`DAG_ID`
`pi_example_path`
`test_run`

模組內容¶

tests.system.cncf.kubernetes.example_spark_kubernetes.ENV_ID[source]¶

tests.system.cncf.kubernetes.example_spark_kubernetes.DAG_ID = 'spark_pi'[source]¶

tests.system.cncf.kubernetes.example_spark_kubernetes.pi_example_path[source]¶

tests.system.cncf.kubernetes.example_spark_kubernetes.test_run[source]¶

此條目有幫助嗎？