Debezium

Собираем пайплайн: PostgreSQL → Debezium → Kafka → ClickHouse

Собираем пайплайн: PostgreSQL → Debezium → Kafka → ClickHouse

Сквозная цепочка от изменения в PostgreSQL до строки в витрине: Debezium как коннектор Kafka Connect, outbox event router, snapshot и переход в streaming, сток в ClickHouse. Не про механику WAL и не про внутренности Kafka — про то, как это собирается вместе и где проходят швы
#streaming #cdc #debezium
#kafka #clickhouse
WAL на службе: репликация, CDC и PITR

WAL на службе: репликация, CDC и PITR

WAL как источник изменений: физическая репликация (стриминг WAL) против логической (декодирование в события), CDC через Debezium (чтение WAL/binlog/oplog), PITR через WAL archiving — и подводные камни: переполнение слотов, retention, идемпотентность потребителя
#wal #replication #cdc
#debezium