Архитектура

Apache Kafka — opensource платформа хранения и потоковой передачи событий в режиме реального времени.

Событийная архитектура (Event driven architecture, EDA): шаблон разработки, в котором производство, обнаружение, потребление и реакция на события играют центральную роль в архитектуре. Это . Преимущества решения:

• Асинхронное взаимодействие, позволяющее функционировать системе при неустойчивой работе части компонентов
• Увеличение гибкости 
• Снижение риска каскадных ошибок

Недостатки, которые при проектировании архитектуры необходимо учитывать:

• Согласованность данных.
• Задержки. Существует временной лаг между изменением данных и получением информации об изменении.
• Повышенные операционные издержки

Примеры задач EDA: 

Объединяет создание значительных объемов данных, которые асинхронно получаются из различных источников и анализируются позже. Примеры:

• анализ активности пользователей
• сбор логов в задачах администрирования
• детекция мошенниества
• предсказание аварии железа

Ключевые компоненты

Поставщики ответственны за создание и отправку данных, брокеры распределяют данные по потребителям, потребители получают и обрабатывают данные.