Kafka: введение

Сообщение: Сообщение

• Ключ - метаданные для управления записью сообщения в разделы
• Схема - способ разобрать сообщениесообщение. Может быть JSON, XML, Apache Avro
• Смещение - точка считываниясчитывания, добавляется Kafka

Тема (топик) - раздел - сообщениесообщение. Упорядочиваются в пределах раздела.

Производители

 

 

Потребители

Могут объединяться в группы. Чтение каждого раздела только одним членом группы. Принадлежность - какой раздел какому потребителю. 

Брокер

Отдельный сервер Kafka - брокер. Объединяются в кластер, один из брокеров - контроллер. Если раздел нескольким брокерам, то происходит репликация. Основной брокер - ведущий. Механизмы репликации только в пределах одного кластера. MirrorMaker - репликация между кластерами. 

broker.id	Целочисленный идентификатор, с 0, уникальный.
listeners	протокол://имя_хоста:порт Перечисляются через запятую. Имя хоста: конкретный ip - соответствующий интерфейс, 0.0.0.0 - все интерфейсы, не указан - интерфейс по умолчанию. Протокол: PLAINTEXT, SSL Если порт менее 1024 то Kafka от имени root,
log.dirs	Директории размещения логов.

 

Python: kafka-python