Та же технология, что снимала профили в прошлой статье, умеет стоять на сетевом пути и решать судьбу пакета ещё до того, как его увидит сетевой стек, — или заменять собой kube-proxy и тысячи правил iptables. eBPF в сети — уже не наблюдение, а вмешательство, и у вмешательства есть последствия, которые видно только счётом.
Эта статья считает. Отправитель шлёт известное число пакетов с известных адресов, приёмник считает, сколько дошло от каждого, а фильтры стоят в разных точках сетевого пути. В кластере Kubernetes — известное число сервисов и эндпоинтов, и видно, где они оказываются на узле: в правилах iptables или в картах eBPF.
Третья статья серии «eBPF на практике». Фундамент — eBPF с нуля, наблюдаемость — наблюдаемость через eBPF. Сетевые политики Cilium и Hubble — в статье про сеть в Kubernetes.
В статье
- Стенд
- XDP, tc, iptables: где отбросить пакет
- Что видит tcpdump
- Правила на лету
- Cilium вместо kube-proxy
- eBPF в рантайм-безопасности
- Как выбирать
- Чего эти результаты не значат
Стенд
Один привилегированный контейнер: Go 1.27 и cilium/ebpf 0.22 для программы
фильтра, iptables, tcpdump, а также kind, kubectl, helm и cilium CLI — кластеры
kind создаются через сокет Docker. Ядро — VM Docker Desktop: Linux 7.0 на
aarch64.
Для оси фильтров — два сетевых пространства имён, соединённые парой veth: у отправителя четыре адреса 10.99.0.1–4, у приёмника — 10.99.0.100. Отправитель шлёт по 10 000 UDP-пакетов с каждого адреса и печатает свой счёт; приёмник считает дошедшее по адресам. Для оси Cilium — кластер kind из двух узлов на Kubernetes 1.37, каждый раз создаваемый заново.
XDP, tc, iptables: где отбросить пакет
Пакет проходит по сетевому пути несколько точек, где его можно отбросить:
- XDP native — первая точка, в драйвере, ещё до того, как ядро выделило под
пакет структуру
sk_buff; дешевле всего, но нужна поддержка в драйвере; - XDP generic — та же программа для интерфейсов без такой поддержки: ядро
вызывает её уже для готового
sk_buff, так что экономии на выделении нет, есть только ранний вердикт; - tc ingress — после разбора пакета в
sk_buff, до маршрутизации; - netfilter (iptables) — дальше по стеку, в цепочках таблиц.
Постановка. Блокируются 10.99.0.2 и 10.99.0.3. Одна и та же логика — адрес источника в hash-карте — стоит на XDP и на tc; для сравнения — правило iptables. Контроль — прогон без фильтра.
// bpf/filter.c
__u32 src = ip->saddr;
if (bpf_map_lookup_elem(&blocklist, &src)) {
count(DROPPED);
return 1;
}
count(PASSED);
return 0;
| фильтр | дошло от разрешённых | дошло от заблокированных | tcpdump видел заблокированных | счётчик отброшенных |
|---|---|---|---|---|
| без фильтра (контроль) | 20000 из 20000 | 20000 из 20000 | 20000 | — |
| XDP, режим драйвера | 20000 из 20000 | 0 из 20000 | 0 | 20000 |
| XDP, режим skb | 20000 из 20000 | 0 из 20000 | 0 | 20000 |
| tc ingress | 20000 из 20000 | 0 из 20000 | 20000 | 20000 |
| iptables INPUT DROP | 20000 из 20000 | 0 из 20000 | 20000 | 20000 |
Контроль сошёлся: без фильтра дошли все пакеты со всех четырёх адресов.
По счёту все четыре фильтра одинаковы — в том числе оба режима XDP: от заблокированных адресов не дошло ни одного пакета, от разрешённых — все, и счётчики программы совпали с отправителем до пакета. Разница между точками не в том, отброшен ли пакет, а в том, сколько работы ядро успело на него потратить и кто его ещё видел.
Что видит tcpdump
$ python3 scripts/run-filter.py xdp-native
{"variant": "xdp-native", "outcome": "match", "detail": "дошло 20000 из 40000, от заблокированных 0; tcpdump видел заблокированных 0; программа: отброшено 20000, пропущено 20000"}
$ python3 scripts/run-filter.py tc
{"variant": "tc", "outcome": "match", "detail": "дошло 20000 из 40000, от заблокированных 0; tcpdump видел заблокированных 20000; программа: отброшено 20000, пропущено 20000"}
tcpdump на интерфейсе приёмника не увидел ни одного пакета, отброшенного XDP, — и увидел все пакеты, отброшенные tc или iptables, хотя до приложения они не дошли. Перехват пакетов подключается к сетевому пути после XDP, но раньше tc ingress и netfilter.
Практическое следствие для разбора инцидента: «tcpdump показывает, что пакеты
приходят, а сервис их не получает» — типичная картина фильтра на tc или в
iptables. Если пакетов не видно даже в tcpdump, причина может быть в
XDP-программе на интерфейсе, а не в сети до узла. Список программ на
интерфейсах показывает bpftool net.
Правила на лету
Список блокировки — карта, а не код программы. Пользовательская программа меняет карту, работающая программа сразу видит изменения.
Постановка. XDP-программа загружена с пустым списком; первая партия пакетов, затем два адреса заносятся в карту — без перезагрузки и переподключения программы, — вторая партия.
$ python3 scripts/run-filter.py xdp-update
{"variant": "xdp-update", "outcome": "match", "detail": "дошло 20000 из 40000, от заблокированных 0; tcpdump видел заблокированных 0; программа: отброшено 20000, пропущено 60000"}
Первая партия дошла целиком, во второй заблокированные адреса отброшены. Счётчик пропущенных — за обе партии, отброшенных — только за вторую. Так устроены eBPF-файрволы и балансировщики: логика загружается один раз, правила живут в картах и меняются на ходу, без пересборки цепочек, как в iptables.
Cilium вместо kube-proxy
В режиме iptables kube-proxy превращает каждый сервис Kubernetes в правила iptables на каждом узле: цепочка на сервис, цепочка на эндпоинт, правила выбора между ними. Cilium в режиме замены kube-proxy держит ту же информацию в eBPF-картах и выполняет балансировку через socket LB и программы на сетевых интерфейсах.
Постановка. Кластер kind из двух узлов создаётся дважды: со штатным CNI и
kube-proxy в режиме iptables (контроль) и с Cilium 1.20 без kube-proxy. В
каждом — 20 сервисов по 3 эндпоинта. Счёт на рабочем узле: цепочки и правила
iptables, eBPF-программы на интерфейсах и балансировка Cilium в двух видах —
состояние агента (cilium-dbg service list) и сама eBPF-карта на узле
(cilium-dbg bpf lb list). Пары «ClusterIP — адрес пода» из карты
сверяются с EndpointSlice.
| kube-proxy (iptables) | Cilium (eBPF) | |
|---|---|---|
| сервисов и эндпоинтов (эталон) | 20 × 3 | 20 × 3 |
| по данным агента Cilium | — | 20 сервисов, 60 бэкендов |
| в iptables / в eBPF-карте балансировщика узла | 20 цепочек KUBE-SVC, 60 KUBE-SEP |
20 сервисов, 60 бэкендов |
| пары «ClusterIP — адрес пода» против EndpointSlice | — | совпали |
правил KUBE- в nat-таблице узла |
254 | 0 |
| eBPF-программ на интерфейсах узла | 0 | 71 |
| подключений socket LB к cgroup (оба узла) | 0 | 22 |
Контроль сошёлся: у kube-proxy ровно 20 цепочек сервисов и 60 цепочек эндпоинтов — по эталону.
$ python3 scripts/run-cilium.py kubeproxy
{"variant": "kubeproxy", "outcome": "match", "detail": "цепочек KUBE-SVC 20, KUBE-SEP 60 (эталон 20 и 60); правил KUBE- в nat 254; eBPF-программ на интерфейсах узла 0; подключений socket LB к cgroup 0"}
$ python3 scripts/run-cilium.py cilium
{"variant": "cilium", "outcome": "match", "detail": "агент Cilium: сервисов 20, бэкендов 60; eBPF-карта балансировщика на worker: сервисов 20, бэкендов 60, пары «ClusterIP — под» совпали с EndpointSlice (эталон 20 и 60); правил KUBE- в nat 0; eBPF-программ на интерфейсах узла 71; подключений socket LB к cgroup 22 (узлов 2)"}
Те же 20 сервисов и 60 бэкендов у Cilium нашлись и в состоянии агента, и в
самой eBPF-карте балансировщика на узле, и каждая пара «ClusterIP — адрес
пода» в карте совпала с EndpointSlice; правил KUBE- на узле не осталось ни
одного. Вместо правил — программы в двух местах.
Первое — на интерфейсах: на внешнем интерфейсе узла, на служебных интерфейсах
Cilium и по программе на интерфейс каждого пода. Второе — socket LB: на
корень cgroup каждого узла подключено по 11 программ Cilium на системные
вызовы сокетов — connect, sendmsg, recvmsg, getpeername и другие
(socket LB).
Для подов на узле бэкенд выбирается ещё при connect(): сокет сразу
соединяется с адресом пода, и пакетов на адрес сервиса не возникает вовсе.
Программы на интерфейсах при этом нужны для трафика, который socket LB не
видит, — например, пришедшего на узел снаружи. Так что число программ на
интерфейсах говорит о том, сколько точек подключения есть, а не о том, где
выбран бэкенд для конкретного соединения. Узлы kind делят ядро VM, поэтому
список подключений ядра показывает оба узла. У kube-proxy правил больше, чем
эндпоинтов, и их число растёт с каждым сервисом всего кластера. В карте поиск
бэкенда — обращение по ключу. Масштабирование стенд не мерил: двадцать
сервисов показывают, как устроено состояние, а не как оно ведёт себя на
тысячах. И сравнение здесь — с kube-proxy в режиме iptables; у kube-proxy есть
и режим nftables
(виртуальные IP и прокси сервисов),
он устроен иначе и здесь не замерялся.
eBPF в рантайм-безопасности
Тот же механизм — программы на системных вызовах и функциях ядра — даёт
рантайм-безопасности то, чего нет у сканеров образов: видимость того, что
контейнер делает прямо сейчас. Tetragon, проект семейства Cilium, отдаёт
события запуска процессов, открытия файлов и сетевых соединений с привязкой к
поду и namespace Kubernetes, а политики (TracingPolicy) позволяют не только
наблюдать, но и останавливать нарушающий процесс прямо в ядре, без похода в
пространство пользователя. Falco решает близкую задачу правилами поверх потока
событий.
На стенде Tetragon 1.7.1 поставлен в тот же кластер и отдаёт события запуска
процессов с именем пода — команда, запущенная в поде, видна как событие
process_exec. Политики и сценарии защиты в этой статье не замерялись: их
корректность — тема для отдельного разбора, где цена ложного срабатывания —
остановленный рабочий процесс.
Как выбирать
| что | на стенде | что делать |
|---|---|---|
| отбросить трафик | XDP, tc и iptables отбросили одно и то же | XDP — для раннего отбрасывания нежелательного трафика и защиты ресурсов узла; насыщение внешнего канала требует фильтрации выше по сети; tc — когда нужен разобранный пакет; iptables — когда eBPF избыточен |
| разбор инцидентов | tcpdump не видит отброшенное XDP | проверять bpftool net на интерфейсах, прежде чем искать потери в сети |
| смена правил | карта меняется на работающей программе | правила держать в картах, логику — в программе |
| сервисы Kubernetes | Cilium: сервисы в eBPF-карте, правил iptables нет | рассматривать замену kube-proxy, когда правила iptables становятся проблемой; масштаб проверять своим нагрузочным тестом |
| рантайм-безопасность | события процессов видны с привязкой к поду | начинать с наблюдения; остановку включать после проверки на ложные срабатывания |
Чего эти результаты не значат
- Скорость не мерилась. XDP native и generic дали одинаковый счёт; разница между ними и с tc — в стоимости пакета, это нагрузочный тест, а не счёт.
- veth, а не сетевая карта. Native XDP на физической карте зависит от драйвера.
- Правила iptables — на одном узле небольшого кластера. Абсолютные числа растут с размером кластера; соотношение «правила против карт» сохраняется.
- Tetragon — без замеров политик.
- Версии: cilium/ebpf 0.22.0, kind 0.33.0 (Kubernetes 1.37.0), Cilium 1.20.2, Tetragon 1.7.1, ядро 7.0.12-linuxkit, aarch64.
Ссылки
- Стенд: digital-cookbook/ebpf/network-security — две оси, отправитель с эталонным счётом.
- XDP: тип программы
- Cilium: замена kube-proxy
- Tetragon
- Falco
Обсуждение в Telegram
Присоединиться →