Каждое звено обещает своё, а отвечать приходится за цепочку целиком: как at-least-once складывается в effectively-once, где заканчивается транзакция Kafka, почему дедуп на стоке обязателен и как пайплайн переживает replay, эволюцию схемы и битые события
Kafka Streams — не сервер, а библиотека внутри вашего сервиса: state store в RocksDB, changelog-топик как способ пережить падение, exactly-once в обработке. Что это даёт, чем за это платят и когда вместо неё всё-таки нужен Flink
Сквозная цепочка от изменения в PostgreSQL до строки в витрине: Debezium как коннектор Kafka Connect, outbox event router, snapshot и переход в streaming, сток в ClickHouse. Не про механику WAL и не про внутренности Kafka — про то, как это собирается вместе и где проходят швы
Один кластер Kafka живёт в одном дата-центре — а бизнесу нужны катастрофоустойчивость и присутствие в нескольких регионах. Разбираем два подхода: растянутый (stretch) кластер против репликации отдельных кластеров через MirrorMaker 2; что MM2 на самом деле переносит (топики, offset’ы, ACL, конфиги) и как работает трансляция offset при failover; топологии active-passive/active-active/hub-and-spoke; RPO/RTO, failover и failback; цена латентности и трафика между регионами. С живым стендом из двух KRaft-кластеров и MM2.
Клиент Kafka делает куда больше, чем «подключиться»: партиционирование, батчинг, сжатие, управление offset, ребаланс, идемпотентность, транзакции — и всё это разные библиотеки реализуют по-разному. Три родословные (референсный JVM-клиент, обёртки над librdkafka на C, чистые реализации протокола), почему у Go сразу несколько драйверов (franz-go/sarama/segmentio/confluent) и чем они отличаются, и что из этого следует для фич, производительности и деплоя. С живыми примерами produce/consume на Java, Go, Rust, Python, C#, C++, Scala
Что вокруг брокера: Kafka Connect для интеграций без своего кода (source/sink, SMT), Schema Registry для эволюции схем (Avro/Protobuf/JSON Schema) и ksqlDB/streaming SQL — что брать из экосистемы, а что писать самому
Kafka в проде: KRaft (без ZooKeeper), ключевые метрики (consumer lag, under-replicated, latency), тюнинг producer и consumer, partition reassignment и rack awareness, rolling upgrade и квоты — продакшн-чеклист
Как Kafka даёт exactly-once: идемпотентный producer, транзакции с transactional.id, атомарный consume-process-produce через sendOffsetsToTransaction и consumer read_committed — и где граница EOS (внешние сайд-эффекты), которую закрывает outbox
Как Kafka хранит и чистит данные: сегменты лога, retention по времени и размеру, log compaction для keyed-топиков (снимок последнего значения), tiered storage и сжатие — и когда compaction нужен, а когда обычный retention
Работа с Kafka из JVM: официальный клиент, Spring Kafka, гарантии доставки и идемпотентность, сериализация и schema registry — что важно кроме «отправить сообщение»
