C++ в Docker: статическая линковка, distroless и минимальные образы

Шесть способов упаковать один и тот же C++-сервис. Самый маленький бинарник даёт самый большой образ. А правило «статика с glibc не разрешает имена» подтвердилось не везде: между двумя образами сборки исход пробы различается, и при этом компоновщик печатает у обоих дословно одно и то же предупреждение

C++-бинарник не тащит за собой рантайм языка, как JVM или Python, — казалось бы, минимальный образ получить проще всего. На практике мешают динамические зависимости: glibc, libstdc++, транзитивные .so. Образ на пару сотен килобайт собирается, но платить за него приходится не там, где ожидаешь.

Эта статья устроена вокруг стенда. Один и тот же крошечный HTTP-сервис на C++ — два маршрута, /healthz и /resolve, второй разрешает доменное имя — собирается и упаковывается шестью способами. Стенд снимает то, что можно посчитать: размеры, число зависимостей, исход пробы на разрешение имени и код ошибки, которым libc объясняет отказ.

Главный результат: известное правило про статику с glibc подтвердилось не везде — между двумя образами сборки исход пробы на разрешение имени различается. А предупреждение компоновщика, на которое правило опирается, печатается у обоих, и дословно одинаково. И то и другое снято стендом.

digital-cookbook/cpp/build-and-package

Ретрофутуристичная схема на кремовой бумаге. Одна общая вывеска висит сразу над двумя одинаковыми проёмами, и на ней моноширинным шрифтом напечатана строка компоновщика: warning: Using ‘getaddrinfo’ in statically linked applications requires at runtime the shared libraries from the glibc version. Сбоку бирка «печатается до сих пор». В левом проёме, подписанном «старый образ сборки», мост через ущелье обрывается и перед разрывом стоит вагонетка с красным сигнальным фонарём; в правом, подписанном «новый образ сборки», такой же мост цел и вагонетка свободно идёт по нему. Текст вывески над обоими проёмами один и тот же. Внизу слева врезка «своя проба отвечает про вашу сборку»: рука с фонарём подсвечивает настил. Внизу справа врезка «то, что убрали из бинарника, лежит рядом с ним»: крошечный ящик «бинарник» и во много раз больший ангар «образ». Внизу по центру плита: «исход различается, предупреждение совпало»

В статье

  • шесть способов упаковки одного сервиса и что каждый даёт;
  • самый маленький бинарник даёт самый большой образ: 18 680 Б бинарника разворачиваются в 78 850 268 Б образа, а мегабайтная статика — в 1 022 147 Б;
  • правило «статическая линковка с glibc ломает разрешение имён»: между двумя образами сборки исход различается;
  • предупреждение компоновщика, дословно совпадающее у обоих образов сборки — и у того, где имя не разрешается, и у того, где разрешается;
  • почему у отказа обязан быть код ошибки, а не догадка, — и почему одного кода мало, чтобы назвать механизм;
  • третий исход, который намеренно не попадает в таблицу как свойство линковки;
  • две шкалы размера образа, и почему их нельзя путать;
  • чего стенд не мерил и почему это сказано вслух.

Условия замера

Числа ниже без условий не значат ничего.

Всё собирается и запускается в контейнерах. На хосте нужны только Docker и Python. Компилятор, CMake и fmt приезжают образами, а не берутся с машины автора.

Образы закреплены тегами, а не контрольными суммами (digest): gcc:15, debian:bullseye, debian:trixie-slim, alpine:3.22, gcr.io/distroless/cc-debian13, scratch. Содержимое тега со временем меняется, поэтому версии внутри не переписаны в текст руками, а измеряются и лежат в фикстурах.

Все бинарники — после strip. Шаг общий для всех шести вариантов: иначе новый компилятор добавил бы в статический бинарник отладочные секции, каких нет у старого, и разница в размере внутри пары была бы наполовину про них. С чужими замерами, снятыми без strip, эти числа сравнивать нельзя.

У пары про версию glibc различается образ сборки целиком. Тот же исходник, те же флаги, тот же рантайм scratch, та же версия fmt (11.0.2, собрана из исходников тем же способом), та же версия CMake (3.28.3, поставлена вручную в обоих). Меняется образ сборки — debian:bullseye против gcc:15, — а вместе с версией библиотеки, вшитой в статический бинарник, меняется и компилятор. Переменных в паре две, и вторую надо называть везде, где заявлен контроль: приписать расхождение исходов одной только версии библиотеки эта пара не позволяет.

В оси два контроля, и оба обязаны быть зелёными в том же прогоне. Обычная динамическая сборка и статика musl. Если хотя бы один из них не разрешит имя — значит в контейнерах просто нет сети, и тогда все остальные строки недействительны: отказ старой статики нельзя было бы отличить от отказа сети. Разбор в этом случае останавливается с явным сообщением и таблицу не печатает.

Стенд снят дважды — из WSL и с хоста Windows. Это два клиента одного демона Docker, а не две машины: про другое ядро, другую версию Docker, другое хранилище образов и другую файловую систему стенд не знает ничего.

Шесть способов упаковать один сервис

вариант libc линковка рантайм что изолирует
glibc-dynamic glibc динамическая debian:trixie-slim контроль: обычная сборка
glibc-static glibc статическая scratch новая библиотека
glibc-static-old glibc статическая scratch старая библиотека
musl-static musl статическая scratch контроль: другая реализация libc
musl-no-resolv musl статическая scratch пустой /etc/resolv.conf
distroless glibc динамическая cc-debian13 рантайм без оболочки

Последняя строка заслуживает пояснения. Отсутствие /etc/resolv.conf в образе ничего не изолировало бы: Docker подставляет свой файл в любой контейнер на сети типа bridge. Поэтому musl-no-resolv — не отдельный образ, а вариант запуска: тот же образ, что у musl-static, но при docker run поверх /etc/resolv.conf монтируется пустой файл. Различается ровно одно.

Что получилось:

вариант бинарник, Б образ распакованный, Б образ упакованный, КиБ зависимостей /resolve что сказала libc
glibc-dynamic 18 680 78 850 268 29 230 6 resolved —
glibc-static 1 938 208 1 938 227 822 0 resolved —
glibc-static-old 1 855 288 1 855 307 747 0 refused EAI_SYSTEM: System error
musl-static 1 022 128 1 022 147 405 0 resolved —
musl-no-resolv 1 022 128 1 022 147 405 0 refused EAI_AGAIN: Try again
distroless 18 680 27 736 067 10 473 6 resolved —

Колонки «образ распакованный» и «образ упакованный» — разные величины, и путать их нельзя. Распакованный объём назван байтами: стенд сравнивает его точно, и между двумя прогонами он совпал побайтно. Упакованный округлён до килобайта нарочно: это объём, который поехал бы в реестр, он платформозависим и сверяется не точным равенством, а с объявленным допуском. Подробности — в разделе о двух шкалах. Числа сняты из WSL.

Самый маленький бинарник даёт самый большой образ

У glibc-dynamic бинарник 18 680 Б — наименьший из шести, поровну с distroless. Образ у него же наибольший: 78 850 268 Б на диске. У musl-static наоборот — бинарник 1 022 128 Б, в 54,7 раза больше, а образ 1 022 147 Б, в 77,1 раза меньше.

Противопоставление построено на распакованных объёмах, сравниваемых точно. По упакованным картина та же — 29 230 КиБ против 405 КиБ, в 72,2 раза, — но это величина с допуском.

Никакого парадокса тут нет, и в этом всё дело: то, что не попало в бинарник, никуда не исчезло. Оно лежит рядом с ним, в базовом образе, и его всё равно приходится хранить и передавать. Динамический бинарник маленький ровно потому, что за ним стоит дистрибутив.

Что именно за ним стоит, видно по списку зависимостей — стенд читает его из самого бинарника:

$ docker run --rm cpp-build-and-package-builder:glibc-dynamic \
    ldd /build/stand_service | awk '{print $1}' | grep -v '^linux-vdso'
libfmt.so.10
libstdc++.so.6
libm.so.6
libgcc_s.so.1
libc.so.6
/lib64/ld-linux-x86-64.so.2

Шесть записей у glibc-dynamic и у distroless, ноль у четырёх статических вариантов. Последняя строка — динамический компоновщик: без него бинарник не запустится вовсе, и именно поэтому пустой scratch для динамической сборки не годится.

Отсюда практический вывод, который стоит держать в голове до того, как начнёте бороться за килобайты: размер бинарника и размер образа — разные величины, и оптимизировать их приходится в разные стороны. Флаги -Os, LTO и strip уменьшают первую. Выбор базового образа меняет вторую, и на порядок сильнее.

Правило, которое подтвердилось не везде

Теперь главное.

Правило звучит так: статически слинкованный с glibc бинарник не разрешает доменные имена. Объяснение ему дают такое: механизм подстановки имён в glibc подгружает модули (libnss_dns.so.2 и его родню) во время работы, а статическому бинарнику в пустом scratch подгружать неоткуда. Объяснение правдоподобное — но стенд проверял не его, а исход, на паре debian:bullseye против gcc:15.

Между двумя образами сборки исход различается, и это всё, что измерено. glibc-static-old собран в debian:bullseye; проба на разрешение имени отвечает refused, и libc называет код: EAI_SYSTEM: System error. glibc-static, собранный в gcc:15, имя разрешает. Тот же исходник, те же флаги, тот же пустой scratch, тот же файл /etc/resolv.conf, та же версия fmt и CMake — отличается образ сборки.

Оба контроля в том же прогоне зелёные, поэтому отказ одной половины пары нельзя списать на пропавшую сеть, а успех другой — на то, что имя разрешилось где-то мимо libc.

Чего стенд не измерил. Какая из двух переменных пары дала расхождение — не установлено: различается и версия библиотеки, и компилятор, и фраза «дело в версии библиотеки» на этих данных не держится. Не установлен и механизм отказа: EAI_SYSTEM означает ровно «системная ошибка, подробности в errno», тот же код libc возвращает и при оборванной сети, так что объяснение через модули остаётся объяснением, согласующимся с исходом. Не установлено, в какой версии поведение изменилось: две точки — это две точки, а не граница.

Предупреждение, одинаковое у обоих образов сборки

Правило живёт не только в пересказах. Его печатает компоновщик, и печатает до сих пор.

Стенд перезапускает шаг линковки внутри образа сборки, предварительно удалив собранный файл (иначе линковка пришла бы из кеша слоёв), и записывает поток ошибок в фикстуру целиком. Вариантов в замере пять: у musl-no-resolv линковка та же, что у musl-static.

вариант libc линковка предупреждение компоновщика
glibc-dynamic glibc динамическая нет
glibc-static glibc статическая есть
glibc-static-old glibc статическая есть
musl-static musl статическая нет
distroless glibc динамическая нет

Область у этого замера своя, и она уже, чем у остальной таблицы: пять образов сборки самого стенда, один прогон, одна платформа, компоновщик GNU ld. Про другие компоновщики, про другие версии библиотеки и про то, насколько часто это предупреждение попадается на глаза, здесь не сказано ничего.

Вот что печатается у glibc-static — у того самого варианта, который имя разрешает:

$ docker run --rm cpp-build-and-package-builder:glibc-static \
    sh -c 'rm -f /build/stand_service && cmake --build /build -j' >/dev/null
/usr/bin/ld: CMakeFiles/stand_service.dir/main.cpp.o: in function `main':
main.cpp:(.text.startup+0x444): warning: Using 'getaddrinfo' in statically
linked applications requires at runtime the shared libraries from the
glibc version used for linking

Сборка при этом завершается успешно, код возврата нулевой, предупреждение остаётся предупреждением.

Главное здесь даже не то, что предупреждение есть, а то, что у обеих половин пары оно дословно одно и то же. Различается ровно смещение внутри секции — +0x444 у новой библиотеки против +0x5e7 у старой; оно про то, куда лёг код, а не про предупреждение, и стенд его нормализует, записывая способ замены рядом со строкой. Всё остальное совпадает символ в символ: и там, где имя не разрешается, и там, где разрешается, компоновщик говорит одинаково.

Два варианта в таблице показывают, о чём предупреждение вообще. У musl-static линковка тоже статическая, но libc другая — предупреждения нет. У glibc-dynamic библиотека та же, но линковка динамическая — предупреждения тоже нет. Печатается оно там, где статика встречается с glibc, и среди снятых вариантов только там.

Возмущаться тут нечем: предупреждение сообщает о требовании к рантайму, а не об уже случившейся поломке, и требование формально в силе у обеих половин пары. Интересно другое: по сообщению инструмента эти две сборки не различить. Оно одинаково и там, где проба отвечает отказом, и там, где имя разрешается, — а значит, ничего не говорит о том, какой исход будет у вашей сборки.

Практический вывод из этого не «игнорируйте предупреждения», а противоположный по духе: если поведение важно вашему сервису — заведите пробу. Один маршрут, который пытается разрешить имя, и один запуск собранного образа отвечают сразу и отвечают про вашу сборку, а не про чужой образ сборки.

Отказ обязан назвать себя

Два отказа в таблице выглядят одинаково — оба refused, — но объясняются по-разному, и объяснение измерено, а не выведено:

  • glibc-static-old → EAI_SYSTEM: System error — системная ошибка внутри функции разрешения имени; подробности libc оставляет в errno, и что именно не сработало, из кода не видно;
  • musl-no-resolv → EAI_AGAIN: Try again — резолвер musl получил пустой список серверов имён и после ожидания вернул временный сбой.

Разные коды у разных причин — это не украшение. Без кода отказ glibc-static-old пришлось бы объяснять догадкой, а догадка «наверное, NSS» ровно так же убедительно объяснила бы и оборванную сеть.

Отсюда правило стенда: исходов три, а не два. resolved, refused и error. Третий отделён намеренно: «наша проба сломалась» — это про саму пробу, а не про способ линковки, и попадать в таблицу как свойство упаковки такое не должно. В снятом прогоне error не случился ни разу, но место для него в контракте есть — иначе первая же неудача самой пробы тихо превратилась бы в вывод о линковке.

Две шкалы размера образа

У размера образа две шкалы, и путать их нельзя.

Упакованное содержимое — цена хранения и передачи. Между двумя клиентами Docker оно расходится на единицы байт: в слой попадают биты прав доступа файлов контекста сборки, а с примонтированного в WSL диска клиент видит 0777, тогда как клиент Windows отдаёт 0755. Проверено разбором слоёв: содержимое файла и его размер совпадают, различается режим. Поэтому упакованный размер сравнивается между сводками прогонов не точно, а с объявленным допуском |Δ| ≤ 25 Б.

Распакованный объём — цена на диске, объём файлов итоговой файловой системы образа. Он сравнивается точно и совпал побайтно.

Именно вторая величина стережёт содержимое, что проверено диверсией: дописанные к бинарнику 8 байт сдвинули упакованный размер на 2 байта, причём вниз — слой лучше сжался. Распакованный объём та же диверсия сдвинула ровно на 8 байт.

Отсюда правило для любого замера образов: если вы стережёте содержимое размером архива, вы не стережёте ничего. Нужна точно сравниваемая величина рядом.

Куда класть бинарник

Три рантайма из таблицы отвечают на вопрос по-разному.

scratch — только для полностью статических. Пустой образ, в нём нет ни оболочки, ни динамического компоновщика. Четыре статических варианта живут в нём, и у каждого распакованный объём равен размеру бинарника плюс 19 байт файла /etc/resolv.conf: 1 022 128 и 1 022 147 у musl, 1 938 208 и 1 938 227 у новой статики glibc, 1 855 288 и 1 855 307 у старой. Ничего больше в образе нет.

distroless — компромисс для динамической сборки. Рантайм несёт glibc и libstdc++, но не несёт оболочки и пакетного менеджера. Тот же бинарник 18 680 Б, что и у glibc-dynamic, те же шесть зависимостей — а распакованный объём 27 736 067 Б против 78 850 268 Б (упакованный — 10 473 КиБ против 29 230 КиБ). Библиотеку fmt пришлось вынести из стадии сборки и положить рядом с бинарником, подключив через LD_LIBRARY_PATH: в cc-debian13 её нет.

Полный дистрибутив — когда внутрь надо заходить. debian:trixie-slim даёт оболочку и пакетный менеджер, и платите вы за это 78 850 268 Б распакованного объёма. Решение здесь не столько про размер, сколько про то, собираетесь ли вы отлаживать сервис внутри контейнера.

Сама многоступенчатая сборка при этом одинакова у всех шести: компилятор, CMake и зависимости живут в первой стадии, во вторую переезжает только собранный файл. Так выглядит images/Dockerfile.musl-static:

FROM alpine:3.22 AS build
RUN apk add --no-cache cmake g++ make
RUN wget -qO- https://github.com/fmtlib/fmt/archive/refs/tags/11.0.2.tar.gz \
     | tar xz -C /tmp \
 && cmake -S /tmp/fmt-11.0.2 -B /tmp/fmt-build -DCMAKE_BUILD_TYPE=Release \
     -DBUILD_SHARED_LIBS=OFF -DFMT_TEST=OFF \
 && cmake --build /tmp/fmt-build -j \
 && cmake --install /tmp/fmt-build
COPY service /src
RUN cmake -S /src -B /build -DCMAKE_BUILD_TYPE=Release -DSTAND_STATIC=ON \
 && cmake --build /build -j \
 && strip /build/stand_service

FROM scratch
COPY --from=build /build/stand_service /stand_service
COPY images/resolv.conf /etc/resolv.conf
ENTRYPOINT ["/stand_service"]

Статическая линковка включается снаружи, флагом, а не прописана в CMakeLists.txt:

option(STAND_STATIC "Слинковать статически" OFF)
if(STAND_STATIC)
    target_link_options(stand_service PRIVATE -static)
endif()

Держать её внутри значило бы иметь два разных проекта вместо одного. Про устройство самого CMakeLists.txt и про то, откуда берётся зависимость, — в статье о сборке и зависимостях.

Ошибка поколений: новый компилятор, старый рантайм

Типичная ловушка: бинарник, собранный в gcc:15, в gcr.io/distroless/cc-debian12 не запускается вовсе: version `GLIBC_2.38' not found, следом version `CXXABI_1.3.15' not found.

Не найденных символа два, и они из разных библиотек. GLIBC_2.38 — контракт glibc. CXXABI_1.3.15 — контракт libstdc++, стандартной библиотеки C++, которую приносит компилятор. Обе библиотеки совместимы назад, но не вперёд: новый рантайм запустит старый бинарник, а бинарник, собранный свежим компилятором, на рантайме прошлого поколения дистрибутива не запустится, даже если оба образа называются стабильными.

Отсюда и лечение, и оно не сводится к одной библиотеке. Согласовывать рантайм надо по обоим ABI сразу: он обязан нести и glibc не старше той, с которой линковались, и libstdc++ не старше той, которой собирали. Поднять в рантайме одну glibc недостаточно — CXXABI_1.3.15 оттого не появится.

Стадия сборки и рантайм легко оказываются из разных поколений Debian, когда первую выбирают по версии компилятора, а второй — по привычному тегу distroless. Заметить это по именам образов невозможно: ни gcc:15, ни cc-debian12 не говорят ни о версии glibc, ни о версии libstdc++. Лечится сменой рантайма на собранный из того же поколения — в стенде это cc-debian13, и с ним бинарник запускается.

Что стенд не мерил

Названо явно, чтобы умолчание не читалось как результат.

Пропускную способность, задержку под нагрузкой и расход памяти. Ни в каком виде. Слова «быстрее» и «эффективнее» к этим числам отношения не имеют.

Время старта. Единственное время, которое ось снимала, — время до первого ответа, — но вывода по нему нет, и разбор говорит это вслух: разброс внутри одного варианта шире, чем разница между медианами вариантов. Правило неинформативности было записано до прогона, а не подобрано после.

Границу версий glibc. Две точки, между которыми поведение различается, — не граница. В какой версии и что именно изменилось внутри библиотеки, здесь не измерено.

Вклад каждой из двух переменных пары. У половин пары различается образ сборки целиком, то есть переменных две: версия библиотеки и компилятор. Развести их стенд не может — для этого понадобился бы третий вариант, где меняется что-то одно. Утверждать «дело в версии библиотеки» на этих данных нельзя; измерено, что исход различается между двумя образами сборки.

Механизм отказа. Код возврата его не доказывает: EAI_SYSTEM означает лишь «системная ошибка, подробности в errno», и тот же код libc возвращает при оборванной сети. Что у glibc-static-old не загрузился модуль поиска имён, стендом не установлено — это объяснение, согласующееся с исходом, а не измеренная причина.

Цену musl под нагрузкой. Что аллокатор musl ведёт себя иначе, чем аллокатор glibc, — известное соображение, но стенд его не проверял и подтвердить не может.

Распространённость чего бы то ни было. Как собирает большинство и что делают обычно — стенд не мерит и не может измерить.

Другие компоновщики. Вывод компоновщика снят у GNU ld из пяти образов сборки самого стенда. Ни lld, ни mold, ни какая-либо другая версия ld здесь не проверялись, и замер линковки к тому же снят одним прогоном на одной платформе, а не дважды, как остальная таблица.

Другую машину. Область — один демон Docker и одно окно времени. Два прогона были повтором, а не расширением области.

Выводы

Шесть способов упаковки одного сервиса дали таблицу, в которой размерная часть скучна ровно настолько, насколько и ожидалось, а интересное — в двух других столбцах.

Самый маленький бинарник даёт самый большой образ. 18 680 Б бинарника и 78 850 268 Б образа против 1 022 128 Б и 1 022 147 Б: то, что вы убрали из бинарника, вы продолжаете хранить рядом с ним. Мегабайтная статика разворачивается ровно в свой бинарник плюс 19 байт собственного /etc/resolv.conf; восемнадцать килобайт динамики разворачиваются в дистрибутив.

Правило про статику и разрешение имён подтвердилось не везде. Между двумя образами сборки исход различается: собранный в debian:bullseye вариант отвечает отказом с кодом EAI_SYSTEM, собранный в gcc:15 — разрешает имя. Различается при этом образ сборки целиком: вместе с версией библиотеки меняется и компилятор, и какая из двух переменных дала расхождение, стенд не устанавливает. Не устанавливает он и механизм: код возврата его не называет. А предупреждение компоновщика печатается у обоих образов сборки — и печатается дословно одинаково, в том числе там, где имя разрешается.

Полезнее любого из этих чисел оказалась дешевизна проверки. Маршрут, разрешающий имя, и запуск собранного образа отвечают сразу и отвечают про вашу сборку. Пересказ чужого правила отвечает про чужой образ сборки и чужой пустой образ.

Числа выше читаются из фикстур стенда автоматической сверкой, а не из моей памяти о них.

Ссылки

Обсуждение в Telegram

Присоединиться →