Apache Kafka 連線

Apache Kafka 連線型別透過 confluent-kafka Python 包配置與 Apache Kafka 的連線。

預設連線 ID

Kafka hooks 和 operators 預設使用 kafka_default,此連線非常基礎,不應假定其對於最簡單的測試之外的用途有用。

配置連線

連線配置為一個提供給 extra 欄位的 JSON 可序列化字串。error_cb 引數可以透過提供函式路徑來指定回撥函式,例如 \"module.callback_func\"。引數的完整列表在 Confluent Kafka Python 庫 中描述。

如果您透過 Airflow UI 定義 Airflow 連線,extra 欄位將被重新命名為 Config Dict

大多數 operators 和 hooks 會檢查 bootstrap.servers 鍵至少存在且其值有效。

此條目有幫助嗎?