Qubole 檢查¶
Qubole 是一個開放、簡單且安全的資料湖平台,適用於機器學習、串流和隨需應變的分析。 Qubole 提供基於 Amazon Web Services、Microsoft 和 Google Cloud 構建的自助式大數據分析平台。
Airflow 提供運算子,可在 QDS 上執行任務(命令)並對 Qubole 命令執行檢查。
執行檢查¶
若要對 Qubole 命令執行檢查,您可以使用 QuboleCheckOperator。
運算子需要一個將在 QDS 上執行的命令。 根據預設,此 Qubole 命令結果第一列上的每個值都會使用 Python bool 轉換進行評估。 如果任何值傳回 False,則檢查失敗並出錯。