airflow.providers.apache.kafka.operators.produce¶

屬性¶

local_logger

類¶

ProduceToTopicOperator

一個向 Kafka 主題生產訊息的 operator。

函式¶

acked(err, msg)

模組內容¶

airflow.providers.apache.kafka.operators.produce.local_logger[source]¶

airflow.providers.apache.kafka.operators.produce.acked(err, msg)[source]¶

class airflow.providers.apache.kafka.operators.produce.ProduceToTopicOperator(topic, producer_function, kafka_config_id='kafka_default', producer_function_args=None, producer_function_kwargs=None, delivery_callback=None, synchronous=True, poll_timeout=0, **kwargs)[source]¶

基類: airflow.models.BaseOperator

一個向 Kafka 主題生產訊息的 operator。

註冊一個 producer 到 Kafka 主題並向日志釋出訊息。

引數::

kafka_config_id (str) – 要使用的連線物件，預設為“kafka_default”
topic (str) – producer 應該生產訊息到的主題，預設為 None
producer_function (str | Callable[Ellipsis, Any]) – 生成鍵/值對作為生產訊息的函式，預設為 None
producer_function_args (collections.abc.Sequence[Any] | None) – 應用於 producer callable 的附加引數，預設為 None
producer_function_kwargs (dict[Any, Any] | None) – 應用於 producer callable 的附加關鍵字引數，預設為 None
delivery_callback (str | None) – 在訊息傳遞（或失敗）後應用的 callback 函式，預設為 None
synchronous (bool) – 寫入 Kafka 是否應完全同步，預設為 True
poll_timeout (float) – 在向 Kafka 生產訊息後呼叫 poll 時應應用的延遲時長，預設為 0

引發::

AirflowException – _描述_

另請參閱

有關如何使用此 operator 的更多資訊，請參閱指南: ProduceToTopicOperator

template_fields = ('topic', 'producer_function_args', 'producer_function_kwargs', 'kafka_config_id')[source]¶

kafka_config_id = 'kafka_default'[source]¶

topic[source]¶

producer_function[source]¶

producer_function_args = ()[source]¶

producer_function_kwargs[source]¶

delivery_callback[source]¶

synchronous = True[source]¶

poll_timeout = 0[source]¶

execute(context)[source]¶

建立 operator 時派生。

Context 是渲染 jinja 模板時使用的相同字典。

有關更多 context 資訊，請參閱 get_template_context。