Apache Kafka 連線¶
Apache Kafka 連線型別透過 confluent-kafka Python 包配置與 Apache Kafka 的連線。
預設連線 ID¶
Kafka hooks 和 operators 預設使用 kafka_default,此連線非常基礎,不應假定其對於最簡單的測試之外的用途有用。
配置連線¶
連線配置為一個提供給 extra 欄位的 JSON 可序列化字串。error_cb 引數可以透過提供函式路徑來指定回撥函式,例如 \"module.callback_func\"。引數的完整列表在 Confluent Kafka Python 庫 中描述。
如果您透過 Airflow UI 定義 Airflow 連線,extra 欄位將被重新命名為 Config Dict。
大多數 operators 和 hooks 會檢查 bootstrap.servers 鍵至少存在且其值有效。