Apache Pinot Hook¶

Apache Pinot 是一個列式儲存、開源、基於 Java 的分散式資料儲存系統。Pinot 設計用於低延遲執行 OLAP 查詢。它適用於需要對不可變資料進行快速分析（例如聚合），並可能需要即時資料攝取（ingestion）的場景。

先決條件¶

PinotAdminHook¶

這個 Hook 是對 `pinot-admin.sh` 指令碼的封裝，該指令碼用於管理 Pinot 叢集，由 Apache Pinot 發行版提供。目前，只實現了其子命令中的一小部分，這些命令是向 Apache Pinot 攝取離線資料所必需的（即 AddSchema、AddTable、CreateSegment 和 UploadSegment）。它們的命令選項基於 Pinot v0.1.0。

引數¶

有關引數定義，請參考 PinotAdminHook

tests/system/apache/pinot/example_pinot_dag.py

@task
def pinot_admin():
    PinotAdminHook(conn_id="pinot_admin_default", cmd_path="pinot-admin.sh", pinot_admin_system_exit=True)

參考資料¶

有關更多資訊，請參閱文件 針對 PinotAdminHook 的 Apache Pinot 改進<https://pinot.apache.org/>

PinotDbApiHook¶

這個 Hook 使用標準 SQL 端點，因為 PQL 端點即將廢棄。

引數¶

有關引數定義，請參考 PinotDbApiHook

tests/system/apache/pinot/example_pinot_dag.py

@task
def pinot_dbi_api():
    PinotDbApiHook(
        task_id="run_example_pinot_script",
        pinot="ls /;",
        pinot_options="-x local",
    )

參考資料¶

有關更多資訊，請參閱文件 Pinot 關於查詢資料的文件<https://docs.pinot.apache.org/users/api/querying-pinot-using-standard-sql>