Kafka Streams в действии. Приложения и микросервисы для работы в реальном времени
Узнайте как реализовать потоковую обработку на платформе Kafka! В этой книге рассмотрены реальные примеры сбора, преобразования и агрегации данных. Показана работа со множественными процессорами, обработка событий в режиме реального времени. Вы узнаете даже о потоковом SQL с KSQL! Эксплуатация и тестирование, мониторинг и отладка современных распределенных систем - вы получите всю необходимую информацию о самых сложных аспектах потоковой обработки. Kafka Streams API - ключ к эффективному применению Kafka на практике.
Темы, рассматриваемые в книге:
• Использование KStreams API
• Фильтрация, преобразование и дробление данных
• Работа с Processor API
• Интеграция с внешними системами
Темы, рассматриваемые в книге:
• Использование KStreams API
• Фильтрация, преобразование и дробление данных
• Работа с Processor API
• Интеграция с внешними системами
Пікірлер1
Дәйексөздер189
В Kafka Streams существует три типа окон:
• сеансовые;
• «кувыркающиеся» (tumbling);
• скользящие/«прыгающие» (sliding/hopping).
Какое выбрать — зависит от бизнес-требований. «Кувыркающиеся» и «прыгающие» окна ограничиваются по времени, в то время как ограничения сеансовых связаны с действиями пользователей — длительность сеанса (-ов) определяется исключительно тем, насколько активно ведет себя пользователь. Главное — не забывать, что все типы окон основываются на метках даты/времени записей, а не на системном времени.
• сеансовые;
• «кувыркающиеся» (tumbling);
• скользящие/«прыгающие» (sliding/hopping).
Какое выбрать — зависит от бизнес-требований. «Кувыркающиеся» и «прыгающие» окна ограничиваются по времени, в то время как ограничения сеансовых связаны с действиями пользователей — длительность сеанса (-ов) определяется исключительно тем, насколько активно ведет себя пользователь. Главное — не забывать, что все типы окон основываются на метках даты/времени записей, а не на системном времени.
я парадигмы MapReduce
Функции отображения (map) и свертки (reduce) не были чем-то новым на момент разработки компанией Google MapReduce. Уникальны
Функции отображения (map) и свертки (reduce) не были чем-то новым на момент разработки компанией Google MapReduce. Уникальны
Метки даты/времени в Kafka Streams
В подразделе 2.4.4 мы обсуждали метки даты/времени в записях Kafka. В этом разделе мы поговорим про использование меток даты/времени в Kafka Streams. Метки даты/времени играют важную роль в следующих ключевых аспектах функциональности Kafka Streams:
• в соединении потоков данных;
• обновлении журналов изменений (API KTable);
В подразделе 2.4.4 мы обсуждали метки даты/времени в записях Kafka. В этом разделе мы поговорим про использование меток даты/времени в Kafka Streams. Метки даты/времени играют важную роль в следующих ключевых аспектах функциональности Kafka Streams:
• в соединении потоков данных;
• обновлении журналов изменений (API KTable);
