Системная наблюдаемость скажет, что сервис жив, запросы быстрые, ошибок нет, — и не заметит, что таблица, на которой стоит отчётность, сегодня не обновилась: загрузка опоздала, задача по расписанию отработала успешно над вчерашними данными. Здоровье сервиса и здоровье данных — разные вещи. Наблюдаемость данных следит за самими данными: свежестью, объёмом, схемой, распределением — и за происхождением (lineage), которое отвечает на вопрос инцидента: что ниже по потоку задето?
Эта статья отвечает счётом. Генератор кладёт в хранилище заказы за 28 дней с недельной сезонностью и подсаживает четыре инцидента, зная их дни. Восемь детекторов — постоянные пороги и пороги по истории — смотрят на те же дни, а дополнительный контроль — порог, подобранный задним числом, — проверяет, можно ли было обойтись без истории. Счёт — сколько инцидентов поймано, сколько пропущено, сколько тревог ложные. А dbt через OpenLineage передаёт граф моделей в Marquez, и граф сверяется с манифестом dbt.
Финальная статья серии «Data engineering на практике». Продолжает качество данных: там проверки с правилами, заданными заранее, здесь — мониторинг по истории. Стык с системной наблюдаемостью — метрики RED и USE и SLO и алертинг.
Путь данных серии и граница, которую разбирает каждая статья:
база заказов"] -->|"выгрузка дня
Airflow"| RAW["raw
сырые строки"] RAW -->|"проверки, карантин,
контракт"| STG["staging
dbt"] STG --> MART["витрины
факты и измерения"] RAW -.->|"озеро"| LAKE["таблица Iceberg
в S3"] P["Батч-пайплайны:
интервалы, повторы,
поздние данные"] -.- SRC Q["Качество и контракты:
что пускать дальше"] -.- STG M["Моделирование:
гранулярность, SCD, ключи"] -.- MART I["Форматы таблиц:
конкурентная запись,
удаление, история"] -.- LAKE O["Наблюдаемость:
мониторы и lineage
над всем путём"] -.- MART
flowchart LR
SRC["Источник
база заказов"] -->|"выгрузка дня
Airflow"| RAW["raw
сырые строки"]
RAW -->|"проверки, карантин,
контракт"| STG["staging
dbt"]
STG --> MART["витрины
факты и измерения"]
RAW -.->|"озеро"| LAKE["таблица Iceberg
в S3"]
P["Батч-пайплайны:
интервалы, повторы,
поздние данные"] -.- SRC
Q["Качество и контракты:
что пускать дальше"] -.- STG
M["Моделирование:
гранулярность, SCD, ключи"] -.- MART
I["Форматы таблиц:
конкурентная запись,
удаление, история"] -.- LAKE
O["Наблюдаемость:
мониторы и lineage
над всем путём"] -.- MART
В статье
- Стенд
- Что задето ниже по потоку
- Мониторы: какой порог что ловит
- По дням
- Когда сбой становится нормой
- Как выбирать
- Чего эти результаты не значат
Стенд
PostgreSQL 18, база dwh: заказы в raw, модели dbt в staging и marts,
метрики мониторов в monitor. Рядом Marquez 0.51.1 — сервер lineage, который
принимает события OpenLineage, — и контейнер с генератором, мониторами,
dbt-core 1.12 + dbt-postgres 1.11 и dbt-ol из openlineage-dbt 1.53: обёртка
запускает dbt и отправляет в Marquez события о каждой модели — что прочитано,
что записано, из каких колонок какие получились.
Генератор кладёт 28 дней, 18.08–14.09.2026: в будни 280–320 заказов, в выходные 160–200. Загрузка дня приходит в 02:00 следующего дня. Четыре инцидента:
- 02.09 (ср), объём — пришло 62% обычного: будний день с объёмом обычного выходного;
- 08.09 (вт), свежесть — загрузка опоздала на 30 часов;
- 10.09 (чт), схема — источник добавил колонку
coupon; - 12.09 (сб), распределение — у трети заказов суммы в рублях вместо копеек.
Модели: stg_orders и stg_customers над источником, int_orders_enriched
с регионом клиента и четыре витрины. Три витрины считают деньги —
daily_revenue, region_revenue, customer_ltv, — а status_counts
считает заказы по статусам и сумму не читает.
Что задето ниже по потоку
Постановка. Инцидент в raw.orders.amount — рубли вместо копеек. Что
ниже по потоку задето? dbt-ol run строит модели и отправляет события в
чистую базу Marquez. Контроль — граф манифеста dbt: от источника по
child_map до всех моделей ниже.
| граф | наборов ниже raw.orders |
какие | status_counts |
|---|---|---|---|
| манифест dbt (контроль) | 6 | customer_ltv, daily_revenue, region_revenue, status_counts, int_orders_enriched, stg_orders |
задета |
| Marquez, таблицы | 6 | customer_ltv, daily_revenue, region_revenue, status_counts, int_orders_enriched, stg_orders |
задета |
Marquez, колонки от amount |
5 | customer_ltv.ltv, daily_revenue.revenue, region_revenue.revenue, int_orders_enriched.amount, stg_orders.amount |
не задета |
Контроль сошёлся: граф таблиц в Marquez совпал с манифестом dbt.
$ python3 scripts/run-lineage.py tables
{"variant": "tables", "outcome": "match", "detail": "ниже raw.orders по Marquez 6 наборов, по манифесту dbt 6"}
$ python3 scripts/run-lineage.py columns
{"variant": "columns", "outcome": "match", "detail": "от raw.orders.amount: полей 5 в 5 наборах; status_counts не задета"}
$ python3 scripts/run-lineage.py column-api
{"variant": "column-api", "outcome": "mismatch", "detail": "API column-lineage Marquez ответил 500"}
На уровне таблиц задето всё, что ниже raw.orders, — шесть наборов, включая
status_counts. Это верно и бесполезно одновременно: таблица задета, а её
числа — нет, счётчик статусов сумму не читает. На уровне колонок картина
точнее: от amount неверное значение доходит до stg_orders.amount,
int_orders_enriched.amount и трёх денежных витрин. Владельцу
status_counts писать не нужно; владельцам трёх витрин — нужно. Разница
между «задето шесть» и «задето пять» на учебном графе мала, на графе в сотни
моделей она решает, сколько людей поднимут по тревоге.
Lineage колонок dbt-ol строит сам, разбирая скомпилированный SQL моделей, —
но только для колонок, описанных в YAML. Без описания у наборов в Marquez
пустая схема, и запрос lineage колонок отвечает 404. Описание — список колонок
у каждой модели:
# dbt/models/schema.yml
models:
- name: stg_orders
columns: [{name: order_id}, {name: customer_id}, {name: status}, {name: amount}, {name: created_at}]
- name: stg_customers
columns: [{name: customer_id}, {name: region}]
С описанными колонками API lineage колонок Marquez 0.51.1 на этом графе
отвечает 500 — внутренняя ошибка сервера. Данные при этом на месте: каждый
набор в Marquez хранит фасет columnLineage, который прислал dbt-ol, —
«это поле получено из таких-то полей входа». Граф колонок выше построен
обходом этих фасетов. Вывод практический: lineage — это данные стандарта
OpenLineage, а не возможность конкретного сервера, и их можно читать в обход
сломанной ручки.
Колонка в WHERE
Колонка влияет на результат не только когда её значение выводится. Три
денежные витрины считают сумму с условием status <> 'cancelled': если
источник переименует статус отмены, выручка вырастет, хотя amount никто не
трогал. Спецификация OpenLineage описывает такие связи как косвенные —
фильтр, соединение, группировка
(фасет column lineage).
Постановка. Тот же обход фасетов, но от raw.orders.status. Эталон — модели
ниже источника, чей скомпилированный SQL в манифесте dbt упоминает status:
выводит, фильтрует или соединяет.
$ python3 scripts/run-lineage.py columns-status
{"variant": "columns-status", "outcome": "mismatch", "detail": "от raw.orders.status по фасетам 3 наборов; SQL читает status в 6; не видны: marts.customer_ltv, marts.daily_revenue, marts.region_revenue"}
Фасеты нашли status только там, где он выводится: в двух моделях staging и в
счётчике статусов. Три витрины, где status стоит в WHERE, — не видны: в
фасетах, которые прислал dbt-ol 1.53, пусты и transformations у полей, и
список косвенных зависимостей набора. Граф колонок из этих данных занижает
охват ровно там, где ошибка тише всего: витрина строится, числа выглядят
правдоподобно. Для оценки охвата по колонкам граф колонок — нижняя граница;
верхняя — граф таблиц.
Мониторы: какой порог что ловит
Постановка. После загрузки каждого дня монитор снимает метрики «на момент проверки» — в 06:00 следующего дня: строк за день, среднее суммы, выход суммы за допустимый диапазон, возраст последней загрузки, состав колонок. Детекторы смотрят на метрики дня и на дни до него. Оценка — 14 дней 01–14.09; история — всё, что раньше оцениваемого дня.
# monitors/monitor.py
return {
"volume-static": m["rows"] < 200,
"volume-history": bool(same_dow) and m["rows"] < 0.7 * statistics.mean(same_dow),
"freshness-static": m["age"] > 24,
"freshness-history": m["age"] > amu + max(3 * asd, 2),
"schema-diff": bool(hist) and m["columns"] != hist[-1]["columns"],
"distribution-static": m["oor"] > 0,
"distribution-history": m["mean"] is not None and abs(m["mean"] - mu) > 3 * sd,
"distribution-history-clean": m["mean"] is not None and abs(m["mean"] - cmu) > 3 * csd,
}
Эталон — по семействам. Опоздание 08.09 — инцидент не только свежести, но и объёма: к 06:00 строк дня нет, и отчёт за день пуст. Поэтому детектор объёма, который тревожит 08.09, прав.
| детектор | столп | тревога, если | поймано | пропущено | ложных |
|---|---|---|---|---|---|
volume-static |
объём | строк меньше 200 | 2 из 2 | 0 | 4 |
volume-static-best |
объём | строк меньше порога, подобранного задним числом | 2 из 2 | 0 | 1 |
volume-history |
объём | меньше 70% среднего трёх прошлых таких же дней недели | 2 из 2 | 0 | 0 |
freshness-static |
свежесть | последней загрузке больше 24 ч | 1 из 1 | 0 | 0 |
freshness-history |
свежесть | возраст выше среднего за 14 дней на max(3σ, 2 ч) | 1 из 1 | 0 | 0 |
schema-diff |
схема | состав колонок не как вчера | 1 из 1 | 0 | 0 |
distribution-static |
распределение | сумма вне допустимого диапазона хоть в одной строке | 0 из 1 | 1 | 0 |
distribution-history |
распределение | среднее суммы вне ±3σ последних 14 дней | 1 из 1 | 0 | 0 |
distribution-history-clean |
распределение | то же, история без дней, где он уже тревожил | 1 из 1 | 0 | 0 |
Контроль сошёлся: детекторы по истории не тревожили ни в один день без инцидента.
$ python3 scripts/run-monitors.py volume-static
{"variant": "volume-static", "outcome": "mismatch", "detail": "поймано 2 из 2, ложных 4 (2026-09-05, 2026-09-06, 2026-09-12, 2026-09-13)"}
$ python3 scripts/run-monitors.py volume-static-best
{"variant": "volume-static-best", "outcome": "mismatch", "detail": "порог меньше 185 строк: поймано 2 из 2, ложных 1 (2026-09-06)"}
$ python3 scripts/run-monitors.py volume-history
{"variant": "volume-history", "outcome": "match", "detail": "поймано 2 из 2, ложных 0"}
$ python3 scripts/run-monitors.py distribution-static
{"variant": "distribution-static", "outcome": "mismatch", "detail": "поймано 0 из 1, ложных 0; пропущено: 2026-09-12"}
Постоянный порог объёма поймал оба провала и четыре раза поднял ложную тревогу — каждые выходные: в субботу и воскресенье заказов меньше 200, это норма. Можно ли подобрать порог лучше? Стенд подбирает его задним числом, зная ответ: наименьший порог, который ещё ловит провал 02.09, — «меньше 185 строк» (в тот день пришло 184). Он всё равно тревожит в воскресенье 06.09 — там 167 заказов, обычный выходной. Провал будня лёг внутрь нормы выходных, и никакое число строк его от выходного не отделит: одинаковый объём значит разное в зависимости от дня недели. Порог, сравнивающий день с тем же днём недели в прошлом, этот контекст знает и ловит оба провала без ложных тревог.
Оговорка честности: в первой версии стенда провал был глубже — ниже всех выходных, и постоянный порог, подобранный под данные, разделял их без ложных тревог. Вывод «постоянный порог не работает» тогда не следовал из опыта; провал поднят до уровня выходных, чтобы опыт проверял именно сезонность.
Постоянный построчный диапазон суммы не заметил рубли: каждое значение допустимо, ровно как в статье про качество данных. Среднее суммы против истории заметило. Свежесть ловят оба порога — опоздание на 30 часов большое; порог по истории нужен там, где обычный возраст загрузки сильно разный. Новую колонку ловит простое сравнение со вчерашней схемой.
По дням
Тревоги детекторов, которые работали бы у дежурного, — без порога, подобранного задним числом:
| день | что случилось | тревоги |
|---|---|---|
| 02.09 (ср) | пришло 62% обычного объёма | volume-static, volume-history |
| 05.09 (сб) | выходной, инцидента нет | volume-static |
| 06.09 (вс) | выходной, инцидента нет | volume-static |
| 08.09 (вт) | загрузка опоздала на 30 ч | volume-static, volume-history, freshness-static, freshness-history |
| 10.09 (чт) | источник добавил колонку coupon |
schema-diff |
| 12.09 (сб) | треть сумм в рублях вместо копеек | volume-static, distribution-history, distribution-history-clean; молчит distribution-static |
| 13.09 (вс) | выходной, инцидента нет | volume-static |
Опоздание 08.09 подняло четыре тревоги из двух семейств: объём и свежесть. Одна причина — несколько тревог: без группировки по причине дежурный получит четыре сообщения о том, что загрузка не пришла. Перекличка с ценой телеметрии: каждый детектор — это ещё один источник сообщений, и ложные тревоги постоянного порога объёма — по два сообщения каждые выходные, после которых их перестают читать.
Когда сбой становится нормой
Детектор по истории учится на прошлом — в том числе на прошлых сбоях. Короткий инцидент в историю почти не влияет. Затянувшийся — влияет: каждый день сбоя сдвигает среднее и раздувает σ, и через несколько дней сбой выглядит нормой.
Постановка. Отдельный сценарий генератора: с 02.09 каждый день треть сумм
в рублях — источник перешёл на рубли и не вернулся. Других инцидентов нет.
Детектор distribution-history сравнивает среднее дня с ±3σ последних 14
дней. Вариант distribution-history-clean — то же правило, но дни, где он уже
тревожил, в историю не берёт.
| детектор | история | поймано дней сбоя | пропущено | ложных |
|---|---|---|---|---|
distribution-history |
все прошлые дни | 2 из 13 | 11 | 0 |
distribution-history-clean |
без дней, где он тревожил | 13 из 13 | 0 | 0 |
$ python3 scripts/run-monitors.py drift/distribution-history
{"variant": "drift/distribution-history", "outcome": "mismatch", "detail": "поймано 2 из 13, ложных 0; пропущено: 2026-09-04, 2026-09-05, 2026-09-06, 2026-09-07, 2026-09-08, 2026-09-09, 2026-09-10, 2026-09-11, 2026-09-12, 2026-09-13, 2026-09-14"}
$ python3 scripts/run-monitors.py drift/distribution-history-clean
{"variant": "drift/distribution-history-clean", "outcome": "match", "detail": "поймано 13 из 13, ложных 0"}
Обычный детектор поймал два первых дня, а дальше замолчал: дни сбоя вошли в окно, σ выросла, и среднее в рублях оказалось внутри ±3σ. Монитор выучил сбой как норму — и молчит ровно тогда, когда сбой продолжается. Детектор с историей без собственных тревог ловит каждый из дней.
У чистой истории своя цена: если изменение законное — единицы сменили намеренно, объём вырос после запуска нового канала, — она будет тревожить бесконечно, потому что новую норму ей не показывают. Поэтому исключение дней из истории должно быть обратимым: дежурный, разобрав тревогу, либо подтверждает сбой (день остаётся вне истории), либо признаёт новую норму (история перестраивается с этого дня). Автоматически решить, сбой это или новая норма, детектор не может — это решение владельца данных.
Как выбирать
| что | на стенде | что делать |
|---|---|---|
| объём | постоянный порог тревожит в выходные, даже подобранный задним числом | сравнивать с тем же днём недели, а не с константой |
| распределение | построчный диапазон не видит смены единиц | среднее или квантили против истории |
| затянувшийся сбой | история со сбоем замолкает через два дня | дни подтверждённых сбоев — вне истории; новую норму признаёт владелец |
| свежесть | ловят оба порога | порог из SLA потребителя; по истории — если возраст плавает |
| схема | сравнение со вчерашней ловит новую колонку | сравнивать и с контрактом, не только со вчера |
| lineage таблиц | задеты все шесть наборов ниже источника | для оценки охвата — грубо, для поиска владельцев — с запасом |
| lineage колонок | задеты пять наборов, счётчик статусов — нет | описывать колонки в YAML; читать фасеты, если сервер не отвечает |
колонка в WHERE |
фасеты не видят три витрины, фильтрующие по статусу | граф колонок — нижняя граница охвата, граф таблиц — верхняя |
| тревоги | одна причина — четыре тревоги | группировать по набору и дню, владелец и SLA на набор |
Тревога по данным — тот же алерт, что и по сервису: у него должен быть владелец, порог из обещания потребителю и путь эскалации, как в SLO и бюджете ошибок. Lineage превращает тревогу в список: кого предупредить и какие отчёты за день помечены как ненадёжные.
Чего эти результаты не значат
- Пороги заданы вручную и подобраны под типичный вид детекторов, а не под эти данные: 70% от среднего, 3σ, окно 14 дней. Другие данные — другие пороги; детекторы с обучением на сезонность — тема для отдельного стенда.
- Две недели оценки и четыре инцидента — счёт поймано/ложных на таком отрезке показывает характер детектора, а не его точность в процентах.
- Ошибка API lineage колонок замерена на Marquez 0.51.1 и этом графе; в другой версии ручка может работать.
- Lineage колонок — из разбора SQL:
dbt-olразобрал простые модели стенда; макросы и динамический SQL разбор может не пройти. - Версии: dbt-core 1.12.5, dbt-postgres 1.11.0, openlineage-dbt 1.53.0, Marquez 0.51.1, PostgreSQL 18.6.
Ссылки
- Стенд: digital-cookbook/data-engineering/observability — две оси, генератор с эталоном инцидентов.
- OpenLineage: интеграция с dbt
- OpenLineage: фасет column lineage
- Marquez
- Проверки с правилами — статья про качество данных и контракты.
Обсуждение в Telegram
Присоединиться →