Kafka

Материализованные представления и real-time агрегации в ClickHouse

Материализованные представления и real-time агрегации в ClickHouse

Материализованные представления в ClickHouse как триггеры на вставку, предагрегация через AggregatingMergeTree и SummingMergeTree, чтение потока из Kafka через Kafka engine, TTL и ретеншн, проекции — как строить обновляемые в реальном времени агрегаты

Kafka: лог, топики, партиции — ментальная модель

Kafka: лог, топики, партиции — ментальная модель

Kafka — это распределённый лог, а не очередь: топики и партиции, offset, producer и consumer, как ключ определяет партицию и порядок, зачем репликация. Вводная серии «Kafka вглубь»: правильная ментальная модель и когда Kafka уместен, а когда нет

Брокеры и стриминг: транзакции в очереди и логе — RabbitMQ и Kafka

Брокеры и стриминг: транзакции в очереди и логе — RabbitMQ и Kafka

Что значит «транзакция» в брокере: AMQP-транзакции RabbitMQ против publisher confirms, транзакционный producer и exactly-once в Kafka, consume-process-produce и read_committed, границы EOS и outbox-паттерн как мост к БД. Примеры на Go и Java

Streams в RabbitMQ: Kafka-подобный лог и можно ли заменить Kafka

Streams в RabbitMQ: Kafka-подобный лог и можно ли заменить Kafka

Что такое streams в RabbitMQ — append-only лог с offset-чтением и репликацией, как их объявлять и читать (native stream-протокол и AMQP), super streams для партиционирования, честное сравнение с Kafka и разбор, где RabbitMQ Streams реально заменяет Kafka, а где нет