eBPF в сети: XDP, tc и Cilium

eBPF на сетевом пути против счёта пакетов: блокировка адресов через XDP, tc и iptables — сколько дошло, что видят счётчики программы и почему tcpdump на том же интерфейсе видит одно и не видит другое; обновление правил без перезагрузки программы. Cilium в kind вместо kube-proxy: где живут двадцать сервисов и шестьдесят эндпоинтов — в правилах iptables или в eBPF-картах. И коротко — что даёт тот же механизм рантайм-безопасности

Та же технология, что снимала профили в прошлой статье, умеет стоять на сетевом пути и решать судьбу пакета ещё до того, как его увидит сетевой стек, — или заменять собой kube-proxy и тысячи правил iptables. eBPF в сети — уже не наблюдение, а вмешательство, и у вмешательства есть последствия, которые видно только счётом.

Эта статья считает. Отправитель шлёт известное число пакетов с известных адресов, приёмник считает, сколько дошло от каждого, а фильтры стоят в разных точках сетевого пути. В кластере Kubernetes — известное число сервисов и эндпоинтов, и видно, где они оказываются на узле: в правилах iptables или в картах eBPF.

Третья статья серии «eBPF на практике». Фундамент — eBPF с нуля, наблюдаемость — наблюдаемость через eBPF. Сетевые политики Cilium и Hubble — в статье про сеть в Kubernetes.

Ретрофутуристский инженерный лист: по горизонтальной трубе слева направо катится поток одинаковых шариков. У самого входа стоит оранжевая задвижка; шарики, помеченные бирюзовой точкой, она отводит по жёлобу вниз в ящик. Сразу за ней в трубу врезано круглое смотровое окно, в нём видны только непомеченные шарики. Дальше подряд стоят ещё две задвижки попроще. Справа труба через компактный распределительный узел расходится на несколько ровных веток, а рядом стоит высокий старый шкаф с частой сеткой тумблеров, его вилка выдернута из розетки

В статье

Стенд

Один привилегированный контейнер: Go 1.27 и cilium/ebpf 0.22 для программы фильтра, iptables, tcpdump, а также kind, kubectl, helm и cilium CLI — кластеры kind создаются через сокет Docker. Ядро — VM Docker Desktop: Linux 7.0 на aarch64.

Для оси фильтров — два сетевых пространства имён, соединённые парой veth: у отправителя четыре адреса 10.99.0.1–4, у приёмника — 10.99.0.100. Отправитель шлёт по 10 000 UDP-пакетов с каждого адреса и печатает свой счёт; приёмник считает дошедшее по адресам. Для оси Cilium — кластер kind из двух узлов на Kubernetes 1.37, каждый раз создаваемый заново.

XDP, tc, iptables: где отбросить пакет

Пакет проходит по сетевому пути несколько точек, где его можно отбросить:

  • XDP native — первая точка, в драйвере, ещё до того, как ядро выделило под пакет структуру sk_buff; дешевле всего, но нужна поддержка в драйвере;
  • XDP generic — та же программа для интерфейсов без такой поддержки: ядро вызывает её уже для готового sk_buff, так что экономии на выделении нет, есть только ранний вердикт;
  • tc ingress — после разбора пакета в sk_buff, до маршрутизации;
  • netfilter (iptables) — дальше по стеку, в цепочках таблиц.

Постановка. Блокируются 10.99.0.2 и 10.99.0.3. Одна и та же логика — адрес источника в hash-карте — стоит на XDP и на tc; для сравнения — правило iptables. Контроль — прогон без фильтра.

// bpf/filter.c
	__u32 src = ip->saddr;
	if (bpf_map_lookup_elem(&blocklist, &src)) {
		count(DROPPED);
		return 1;
	}
	count(PASSED);
	return 0;
фильтр дошло от разрешённых дошло от заблокированных tcpdump видел заблокированных счётчик отброшенных
без фильтра (контроль) 20000 из 20000 20000 из 20000 20000 —
XDP, режим драйвера 20000 из 20000 0 из 20000 0 20000
XDP, режим skb 20000 из 20000 0 из 20000 0 20000
tc ingress 20000 из 20000 0 из 20000 20000 20000
iptables INPUT DROP 20000 из 20000 0 из 20000 20000 20000

Контроль сошёлся: без фильтра дошли все пакеты со всех четырёх адресов.

По счёту все четыре фильтра одинаковы — в том числе оба режима XDP: от заблокированных адресов не дошло ни одного пакета, от разрешённых — все, и счётчики программы совпали с отправителем до пакета. Разница между точками не в том, отброшен ли пакет, а в том, сколько работы ядро успело на него потратить и кто его ещё видел.

Что видит tcpdump

$ python3 scripts/run-filter.py xdp-native
{"variant": "xdp-native", "outcome": "match", "detail": "дошло 20000 из 40000, от заблокированных 0; tcpdump видел заблокированных 0; программа: отброшено 20000, пропущено 20000"}
$ python3 scripts/run-filter.py tc
{"variant": "tc", "outcome": "match", "detail": "дошло 20000 из 40000, от заблокированных 0; tcpdump видел заблокированных 20000; программа: отброшено 20000, пропущено 20000"}

tcpdump на интерфейсе приёмника не увидел ни одного пакета, отброшенного XDP, — и увидел все пакеты, отброшенные tc или iptables, хотя до приложения они не дошли. Перехват пакетов подключается к сетевому пути после XDP, но раньше tc ingress и netfilter.

Практическое следствие для разбора инцидента: «tcpdump показывает, что пакеты приходят, а сервис их не получает» — типичная картина фильтра на tc или в iptables. Если пакетов не видно даже в tcpdump, причина может быть в XDP-программе на интерфейсе, а не в сети до узла. Список программ на интерфейсах показывает bpftool net.

Правила на лету

Список блокировки — карта, а не код программы. Пользовательская программа меняет карту, работающая программа сразу видит изменения.

Постановка. XDP-программа загружена с пустым списком; первая партия пакетов, затем два адреса заносятся в карту — без перезагрузки и переподключения программы, — вторая партия.

$ python3 scripts/run-filter.py xdp-update
{"variant": "xdp-update", "outcome": "match", "detail": "дошло 20000 из 40000, от заблокированных 0; tcpdump видел заблокированных 0; программа: отброшено 20000, пропущено 60000"}

Первая партия дошла целиком, во второй заблокированные адреса отброшены. Счётчик пропущенных — за обе партии, отброшенных — только за вторую. Так устроены eBPF-файрволы и балансировщики: логика загружается один раз, правила живут в картах и меняются на ходу, без пересборки цепочек, как в iptables.

Cilium вместо kube-proxy

В режиме iptables kube-proxy превращает каждый сервис Kubernetes в правила iptables на каждом узле: цепочка на сервис, цепочка на эндпоинт, правила выбора между ними. Cilium в режиме замены kube-proxy держит ту же информацию в eBPF-картах и выполняет балансировку через socket LB и программы на сетевых интерфейсах.

Постановка. Кластер kind из двух узлов создаётся дважды: со штатным CNI и kube-proxy в режиме iptables (контроль) и с Cilium 1.20 без kube-proxy. В каждом — 20 сервисов по 3 эндпоинта. Счёт на рабочем узле: цепочки и правила iptables, eBPF-программы на интерфейсах и балансировка Cilium в двух видах — состояние агента (cilium-dbg service list) и сама eBPF-карта на узле (cilium-dbg bpf lb list). Пары «ClusterIP — адрес пода» из карты сверяются с EndpointSlice.

kube-proxy (iptables) Cilium (eBPF)
сервисов и эндпоинтов (эталон) 20 × 3 20 × 3
по данным агента Cilium — 20 сервисов, 60 бэкендов
в iptables / в eBPF-карте балансировщика узла 20 цепочек KUBE-SVC, 60 KUBE-SEP 20 сервисов, 60 бэкендов
пары «ClusterIP — адрес пода» против EndpointSlice — совпали
правил KUBE- в nat-таблице узла 254 0
eBPF-программ на интерфейсах узла 0 71
подключений socket LB к cgroup (оба узла) 0 22

Контроль сошёлся: у kube-proxy ровно 20 цепочек сервисов и 60 цепочек эндпоинтов — по эталону.

$ python3 scripts/run-cilium.py kubeproxy
{"variant": "kubeproxy", "outcome": "match", "detail": "цепочек KUBE-SVC 20, KUBE-SEP 60 (эталон 20 и 60); правил KUBE- в nat 254; eBPF-программ на интерфейсах узла 0; подключений socket LB к cgroup 0"}
$ python3 scripts/run-cilium.py cilium
{"variant": "cilium", "outcome": "match", "detail": "агент Cilium: сервисов 20, бэкендов 60; eBPF-карта балансировщика на worker: сервисов 20, бэкендов 60, пары «ClusterIP — под» совпали с EndpointSlice (эталон 20 и 60); правил KUBE- в nat 0; eBPF-программ на интерфейсах узла 71; подключений socket LB к cgroup 22 (узлов 2)"}

Те же 20 сервисов и 60 бэкендов у Cilium нашлись и в состоянии агента, и в самой eBPF-карте балансировщика на узле, и каждая пара «ClusterIP — адрес пода» в карте совпала с EndpointSlice; правил KUBE- на узле не осталось ни одного. Вместо правил — программы в двух местах.

Первое — на интерфейсах: на внешнем интерфейсе узла, на служебных интерфейсах Cilium и по программе на интерфейс каждого пода. Второе — socket LB: на корень cgroup каждого узла подключено по 11 программ Cilium на системные вызовы сокетов — connect, sendmsg, recvmsg, getpeername и другие (socket LB). Для подов на узле бэкенд выбирается ещё при connect(): сокет сразу соединяется с адресом пода, и пакетов на адрес сервиса не возникает вовсе. Программы на интерфейсах при этом нужны для трафика, который socket LB не видит, — например, пришедшего на узел снаружи. Так что число программ на интерфейсах говорит о том, сколько точек подключения есть, а не о том, где выбран бэкенд для конкретного соединения. Узлы kind делят ядро VM, поэтому список подключений ядра показывает оба узла. У kube-proxy правил больше, чем эндпоинтов, и их число растёт с каждым сервисом всего кластера. В карте поиск бэкенда — обращение по ключу. Масштабирование стенд не мерил: двадцать сервисов показывают, как устроено состояние, а не как оно ведёт себя на тысячах. И сравнение здесь — с kube-proxy в режиме iptables; у kube-proxy есть и режим nftables (виртуальные IP и прокси сервисов), он устроен иначе и здесь не замерялся.

eBPF в рантайм-безопасности

Тот же механизм — программы на системных вызовах и функциях ядра — даёт рантайм-безопасности то, чего нет у сканеров образов: видимость того, что контейнер делает прямо сейчас. Tetragon, проект семейства Cilium, отдаёт события запуска процессов, открытия файлов и сетевых соединений с привязкой к поду и namespace Kubernetes, а политики (TracingPolicy) позволяют не только наблюдать, но и останавливать нарушающий процесс прямо в ядре, без похода в пространство пользователя. Falco решает близкую задачу правилами поверх потока событий.

На стенде Tetragon 1.7.1 поставлен в тот же кластер и отдаёт события запуска процессов с именем пода — команда, запущенная в поде, видна как событие process_exec. Политики и сценарии защиты в этой статье не замерялись: их корректность — тема для отдельного разбора, где цена ложного срабатывания — остановленный рабочий процесс.

Как выбирать

что на стенде что делать
отбросить трафик XDP, tc и iptables отбросили одно и то же XDP — для раннего отбрасывания нежелательного трафика и защиты ресурсов узла; насыщение внешнего канала требует фильтрации выше по сети; tc — когда нужен разобранный пакет; iptables — когда eBPF избыточен
разбор инцидентов tcpdump не видит отброшенное XDP проверять bpftool net на интерфейсах, прежде чем искать потери в сети
смена правил карта меняется на работающей программе правила держать в картах, логику — в программе
сервисы Kubernetes Cilium: сервисы в eBPF-карте, правил iptables нет рассматривать замену kube-proxy, когда правила iptables становятся проблемой; масштаб проверять своим нагрузочным тестом
рантайм-безопасность события процессов видны с привязкой к поду начинать с наблюдения; остановку включать после проверки на ложные срабатывания

Чего эти результаты не значат

  • Скорость не мерилась. XDP native и generic дали одинаковый счёт; разница между ними и с tc — в стоимости пакета, это нагрузочный тест, а не счёт.
  • veth, а не сетевая карта. Native XDP на физической карте зависит от драйвера.
  • Правила iptables — на одном узле небольшого кластера. Абсолютные числа растут с размером кластера; соотношение «правила против карт» сохраняется.
  • Tetragon — без замеров политик.
  • Версии: cilium/ebpf 0.22.0, kind 0.33.0 (Kubernetes 1.37.0), Cilium 1.20.2, Tetragon 1.7.1, ядро 7.0.12-linuxkit, aarch64.

Ссылки

Обсуждение в Telegram

Присоединиться →