Наивное озеро данных — паркет-файлы в каталогах объектного хранилища. Читать его умеет любой движок, и пока данные только дописываются, всё работает. Как таблица оно ломается на первом же обычном для базы данных действии: два процесса пишут одновременно, отчёт читает каталог посреди записи, нужно удалить строку, переименовать колонку, найти данные за день, не просматривая весь год. Open table formats — Apache Iceberg, Delta Lake, Apache Hudi — кладут поверх тех же файлов слой метаданных: какие файлы составляют таблицу сейчас, какими они были раньше и как устроена её схема.
Эта статья проверяет, что этот слой даёт, счётом. На одном объектном хранилище стоят две таблицы с одними и теми же заказами: «папка» — паркет, который пишет и читает pyarrow, и таблица Iceberg. Над ними ставятся одни и те же действия, и считается исход: сколько изменений потеряно, сколько строк увидел читатель, сколько строк переписано ради одной удалённой.
Часть серии «Data engineering на практике»: слой хранения, на котором строятся звёздные схемы и загружаются батч-пайплайны.
В статье
- Стенд
- Два писателя
- Читатель во время записи
- Удаление строки и история
- Схема: имя или идентификатор
- Партиции, которых не видно в запросе
- Мелкие файлы и обслуживание
- Delta Lake и Hudi
- Как выбирать
- Чего эти результаты не значат
Стенд
Объектное хранилище — SeaweedFS 4.48 с S3-шлюзом. Каталог таблиц — REST-каталог
Iceberg (apache/iceberg-rest-fixture 1.10.1): он хранит указатель на текущий
файл метаданных каждой таблицы и меняет его атомарно. Таблицы Iceberg пишут
Spark 4.1.3 с iceberg-spark-runtime 1.12.0 — для SQL-операций: удаления, отката,
изменения схемы и партиций, процедур обслуживания — и PyIceberg 0.12 — для
опытов, где важен порядок шагов. Данные — заказы за 14 дней сентября 2026, те же,
что у соседних стендов серии.
Опыты с двумя писателями и читателем стенд ставит не гонкой потоков, а заданным чередованием: оба писателя читают одно состояние, затем пишут по очереди; читатель смотрит таблицу в заданный момент записи. Гонка дала бы исход, зависящий от планировщика, а чередование — тот самый худший случай, который в жизни случается реже, но случается.
Два писателя
Постановка. Таблица заказов за 03.09. Писатели A и B читают её, каждый
меняет статус у своих заказов — A у одних, B у других — и записывает день
обратно. A пишет первым, B — вторым. В «папке» запись дня — перезапись его
файла; в Iceberg — overwrite дня, коммит которого начинается от снапшота,
прочитанного до коммита A.
| вариант | изменения A на месте | изменения B на месте | коммитов B отклонено |
|---|---|---|---|
| папка, один писатель (контроль) | 26 из 26 | 0 из 0 | 0 |
| папка, два писателя | 0 из 26 | 28 из 28 | 0 |
| Iceberg, один писатель (контроль) | 26 из 26 | 0 из 0 | 0 |
| Iceberg, два писателя | 26 из 26 | 28 из 28 | 1 |
Контроль сошёлся: один писатель — его изменения на месте в обоих вариантах.
$ python3 scripts/run-writers.py folder
{"variant": "folder", "outcome": "mismatch", "detail": "изменений A на месте 0 из 26, B 28 из 28; коммитов B отклонено 0"}
$ python3 scripts/run-writers.py iceberg
{"variant": "iceberg", "outcome": "match", "detail": "изменений A на месте 26 из 26, B 28 из 28; коммитов B отклонено 1"}
В «папке» второй писатель не знает о первом: он перезаписал файл версией, прочитанной до записи A, и все изменения A пропали — без ошибки, без следа. В Iceberg коммит — это замена указателя на файл метаданных с условием «текущий снапшот всё ещё тот, от которого я начинал». Каталог отверг коммит B: снапшот сменился. PyIceberg повторил коммит сам и при повторе проверил, не задевают ли изменения A то, что перезаписывает B, — и отказал окончательно:
# jobs/writers.py
except (CommitFailedException, ValidationException) as e:
# PyIceberg повторяет коммит сам и при повторе проверяет конфликт:
# A добавил файлы под тот же фильтр перезаписи — повтор отклонён
B перечитал таблицу, применил своё изменение к новому состоянию и записал — на месте оба изменения. Формат не делает конфликт невозможным, он делает его видимым: ошибку получает тот, кто пришёл вторым, а не данные первого.
Читатель во время записи
Постановка. В таблицу дописываются заказы за 08.09 четырьмя файлами. Читатель считает новые строки после второго файла и после окончания записи. В Iceberg все четыре части пишутся в одной транзакции PyIceberg: файлы данных ложатся в хранилище сразу, коммит — в конце.
$ python3 scripts/run-reader.py folder
{"variant": "folder", "outcome": "mismatch", "detail": "после 2 файлов из 4 видно новых строк 130 из 259 (файлов уже в хранилище 2); после записи — 259"}
$ python3 scripts/run-reader.py iceberg
{"variant": "iceberg", "outcome": "match", "detail": "после 2 файлов из 4 видно новых строк 0 из 259 (файлов уже в хранилище 2); после записи — 259"}
Читатель «папки» увидел половину новых строк — и это не ошибка чтения: «папка» и есть всё, что лежит в каталоге. Отчёт, построенный в этот момент, покажет выручку за 08.09 вдвое меньше и не узнает об этом. В Iceberg те же два файла уже лежали в хранилище, но в метаданных таблицы их не было: читатель видит последний снапшот, а он не изменится, пока коммит не прошёл. После коммита видны все строки сразу.
Удаление строки и история
Постановка. Таблица заказов за 14 дней, партиции по дню. Удаляется один
заказ за 03.09. В «папке» — переписать файл дня без него. В Iceberg — DELETE
в двух режимах таблицы (write.delete.mode): copy-on-write переписывает файлы
данных, merge-on-read пишет рядом файл удалений. Счёт — по сводке снапшота.
| способ | файлов данных переписано | строк переписано | файлов удалений | старая версия читается |
|---|---|---|---|---|
| папка: переписать файл дня | 1 | 284 | 0 | нет |
| Iceberg, copy-on-write | 1 | 284 | 0 | да |
| Iceberg, merge-on-read | 0 | 0 | 1 | да |
Контроль сошёлся: во всех трёх случаях строк стало на одну меньше.
Copy-on-write делает то же, что «папка», — переписывает файл дня, 284 строки ради одной, — но прежний файл остаётся доступен прежнему снапшоту. Merge-on-read не трогает данные: один маленький файл удалений, а цена переносится на чтение — читатель накладывает удаления на данные, пока таблицу не уплотнят. Первое выгодно, когда удаляют редко и много читают; второе — когда удаляют часто. Но если удаление нужно ради персональных данных, «часто и дёшево» — не вся история: удалённое должно исчезнуть физически, а не только из текущего снапшота. Об этом — ниже.
История у «папки» одна — текущая. У Iceberg каждый коммит — снапшот, и прошлое читается по номеру:
| что прочитано | строк | возвратов |
|---|---|---|
| текущее состояние после удаления и изменения | 4048 | 488 |
VERSION AS OF первый снапшот |
4049 | 194 |
после rollback_to_snapshot |
4049 | 194 |
После удаления заказа и смены статуса у заказов 04.09 текущая таблица
изменилась, а VERSION AS OF первого снапшота вернул исходные строки и
исходные статусы. Откат к снапшоту делает его текущим — без копирования
данных: файлы прежней версии никуда не делись.
Когда удалённое исчезает физически
То, что делает откат возможным, мешает удалению персональных данных:
DELETE убирает строку из текущего снапшота, но файлы, где она лежит,
остаются, пока на них ссылается хоть один доступный снапшот.
Постановка. Тот же заказ удаляется в обоих режимах, затем три шага
обслуживания: истечение снапшотов (expire_snapshots, остаётся последний),
уплотнение файлов дня с применением удалений (rewrite_data_files) и ещё
одно истечение. После каждого шага стенд читает все паркет-файлы таблицы в
хранилище — и те, на которые таблица уже не ссылается, — и считает копии
удалённой строки.
| режим | копий строки после DELETE | после истечения снапшотов | после уплотнения и истечения |
|---|---|---|---|
| copy-on-write | 1 | 0 | 0 |
| merge-on-read | 1 | 1 | 0 |
Контроль сошёлся: после DELETE в обоих режимах строки нет в текущем
снапшоте, а самый старый снапшот её показывает.
$ python3 scripts/run-erase.py merge-on-read
{"variant": "merge-on-read", "outcome": "mismatch", "detail": "физических копий: после DELETE 1, после expire 1, после compact и expire 0; в старейшем снапшоте после DELETE 1"}
Copy-on-write переписал файл дня без строки, и прежний файл держит только
старый снапшот: истекли снапшоты — файл удалён, строки нет. Merge-on-read не
трогал файл данных: строку скрывает файл удалений, а сам файл данных — текущий,
и истечение снапшотов его не удаляет. Строка физически лежит в хранилище,
пока уплотнение не перепишет файл с применением удалений и следующее истечение
не уберёт прежний. Жизненный цикл удаления в Iceberg — DELETE → переписать
затронутые файлы → истечь снапшоты, которые их держат → удалить файлы
(обслуживание таблиц).
Срок, за который персональные данные должны исчезнуть, — это срок всего
цикла, а не одного запроса.
Схема: имя или идентификатор
Постановка. Старые строки — 01–07.09. Колонку status переименовывают в
order_status. Затем колонку customer_id удаляют и добавляют снова с тем же
именем. В «папке» изменение схемы — это новые файлы с новой схемой, а читатель
сопоставляет колонки файлов по имени. В Iceberg — ALTER TABLE.
| старых строк | значений под новым именем | значений в колонке, добавленной заново | |
|---|---|---|---|
| папка (по имени колонки) | 2076 | 0 | 2076 |
| Iceberg (по идентификатору поля) | 2076 | 2076 | 0 |
Контроль сошёлся: до изменения схемы значения на месте у всех строк.
«Папка» связывает колонку файла и колонку таблицы по имени, и обе ошибки
отсюда. После переименования старые файлы не знают слова order_status — их
значения пропали. После удаления и повторного добавления старые файлы по-прежнему
содержат customer_id — и старые значения «воскресли» в колонке, которая по
смыслу новая. Iceberg хранит у каждой колонки постоянный идентификатор поля
(спецификация): переименование меняет только
имя в метаданных, а колонка, добавленная заново, получает новый идентификатор,
и старые файлы для неё пусты — так, как и должно быть.
Партиции, которых не видно в запросе
Постановка. Таблица Iceberg партиционирована по дню от времени заказа:
days(created_at) — производная, а не отдельная колонка. На середине истории
партиционирование меняют на месяц, months(created_at). Запрос с фильтром по
created_at за 03.09. «Папка» разложена по каталогам day=2026-09-03, и тот же
фильтр стоит на created_at.
$ python3 scripts/run-partitions.py folder
{"variant": "folder", "outcome": "mismatch", "detail": "фильтр по времени заказа: файлов в плане 14 из 14, строк 285"}
$ python3 scripts/run-partitions.py iceberg
{"variant": "iceberg", "outcome": "match", "detail": "фильтр по времени заказа: файлов в плане 1 из 8, строк 285"}
Смена партиционирования не переписала ни одного старого файла: 7 файлов по
дню остались со старой спецификацией, новые пишутся по месяцу, и обе части
читаются одним запросом. Фильтр по времени заказа в Iceberg оставил в плане
один файл: метаданные знают, какому дню принадлежит каждый файл, и сами переводят условие
на created_at в условие на партицию — это и есть скрытое партиционирование
(эволюция). «Папка»
отсекает файлы только по колонке каталога: с тем же фильтром на created_at
в плане остались все 14 файлов, с фильтром по day — один. Стенд считает
файлы в плане запроса, а не прочитанные данные: при сканировании Arrow может
пропускать группы строк по статистике Parquet, и сколько групп строк реально
прочитано, не измерялось. Преимущество Iceberg здесь — в планировании: лишние
файлы не попадают в план вовсе. Пользователь «папки» обязан
знать, как она разложена, и писать запрос под раскладку.
Мелкие файлы и обслуживание
Цена снапшотов — то, что старое не исчезает само. Постановка. 50 вставок
по одной строке, затем rewrite_data_files и expire_snapshots с сохранением
последнего снапшота; объекты таблицы в хранилище считаются по data/ и
metadata/.
| шаг | файлов данных в таблице | снапшотов | объектов данных в хранилище | объектов метаданных |
|---|---|---|---|---|
| 50 вставок по строке | 50 | 50 | 50 | 151 |
rewrite_data_files |
1 | 51 | 51 | 204 |
expire_snapshots, последний снапшот |
1 | 1 | 1 | 105 |
Контроль сошёлся: число строк до и после обслуживания одинаково.
Каждая вставка — файл и снапшот; 50 мелких файлов читаются медленнее одного
большого, а метаданные растут. Уплотнение собрало данные в один файл, но
старые 50 остались в хранилище: на них ссылаются прежние снапшоты. Только
expire_snapshots освободил их — объектов данных стал один. Файлы метаданных
он удалил не все: манифесты прежних снапшотов ушли, а прежние metadata.json
остались, их удаление — отдельная настройка таблицы
write.metadata.delete-after-commit.enabled
(обслуживание).
Обслуживание — не разовая операция, а задача по расписанию, как резервное
копирование.
Delta Lake и Hudi
Стенд меряет только Iceberg. Delta Lake и Hudi решают ту же задачу — слой метаданных над файлами, — но с другими акцентами; ниже — по их документации, без замеров.
- Delta Lake ведёт журнал транзакций в каталоге
_delta_logрядом с данными: каждый коммит — файл журнала, периодически — контрольная точка. Писатели так же договариваются оптимистично. Переименование колонки требует режима сопоставления колонок, иначе Delta, как «папка», сопоставляет по имени. Экосистема — прежде всего Spark и Databricks (введение). - Hudi вырос из задачи частых upsert и потоков изменений: у каждой записи ключ, у таблицы — индекс по ключам и временная шкала действий. Типы таблиц copy-on-write и merge-on-read — та же развилка, что режимы удаления в Iceberg выше (обзор).
- Iceberg ставит на первое место независимость от движка (Spark, Flink, Trino, PyIceberg читают одну таблицу через каталог), скрытое партиционирование и эволюцию партиций без перезаписи.
Как выбирать
| что | на стенде | что делать |
|---|---|---|
| несколько писателей | папка теряет изменения первого | формат таблицы; писатель, получивший конфликт, перечитывает и повторяет |
| чтение во время записи | папка показывает половину | читать снапшоты, а не каталоги |
| удаление строк | папка переписывает файл, истории нет | copy-on-write при редких удалениях, merge-on-read при частых |
| физическое удаление | merge-on-read держит строку до уплотнения | для персональных данных — уплотнение и истечение снапшотов в срок, обещанный по удалению |
| история и откат | только в формате таблицы | срок хранения снапшотов — по нужной глубине отката |
| изменение схемы | папка теряет и «воскрешает» значения | формат с идентификаторами полей |
| партиции | папка отсекает только по колонке каталога | скрытое партиционирование; смена без перезаписи |
| мелкие файлы | 50 записей — 50 файлов | уплотнение и истечение снапшотов по расписанию |
Чего эти результаты не значат
- Ничего о скорости. Стенд считает исходы — потерянные изменения, видимые строки, переписанные файлы, — а не время запросов.
- Чередование, а не нагрузка. Худший порядок шагов задан явно; как часто он случается под настоящей нагрузкой, стенд не говорит.
- Delta Lake и Hudi не измерены. Их раздел — по документации.
- Версии: Iceberg 1.12.0 (Spark runtime), REST-каталог 1.10.1, PyIceberg 0.12.0, Spark 4.1.3, SeaweedFS 4.48; формат таблицы v2. Автоповтор коммита и проверка конфликта — поведение PyIceberg этой версии.
Ссылки
- Стенд: digital-cookbook/data-engineering/iceberg — шесть осей, «папка» и Iceberg на одном S3.
- Apache Iceberg: спецификация
- PyIceberg
- Как устроены неизменяемые файлы и снапшоты на уровне движка — статья про storage enginesСкоро; S3 API — статья про S3готовится, с 12 февраля 2027.
Обсуждение в Telegram
Присоединиться →