Data observability и lineage: наблюдаемость самих данных

Пайплайн зелёный, а данные за день не пришли, источник добавил колонку или перешёл на рубли. Четыре инцидента за две недели против восьми детекторов объёма, свежести, схемы и распределения и порога, подобранного задним числом: какой порог тревожит каждые выходные, какой не видит смены единиц, какой ловит всё без ложных тревог. И lineage из dbt через OpenLineage в Marquez: что ниже по потоку задето на уровне таблиц и на уровне колонок. Всё — счётом против эталона генератора

Системная наблюдаемость скажет, что сервис жив, запросы быстрые, ошибок нет, — и не заметит, что таблица, на которой стоит отчётность, сегодня не обновилась: загрузка опоздала, задача по расписанию отработала успешно над вчерашними данными. Здоровье сервиса и здоровье данных — разные вещи. Наблюдаемость данных следит за самими данными: свежестью, объёмом, схемой, распределением — и за происхождением (lineage), которое отвечает на вопрос инцидента: что ниже по потоку задето?

Эта статья отвечает счётом. Генератор кладёт в хранилище заказы за 28 дней с недельной сезонностью и подсаживает четыре инцидента, зная их дни. Восемь детекторов — постоянные пороги и пороги по истории — смотрят на те же дни, а дополнительный контроль — порог, подобранный задним числом, — проверяет, можно ли было обойтись без истории. Счёт — сколько инцидентов поймано, сколько пропущено, сколько тревог ложные. А dbt через OpenLineage передаёт граф моделей в Marquez, и граф сверяется с манифестом dbt.

Финальная статья серии «Data engineering на практике». Продолжает качество данных: там проверки с правилами, заданными заранее, здесь — мониторинг по истории. Стык с системной наблюдаемостью — метрики RED и USE и SLO и алертинг.

Ретрофутуристский инженерный лист: от резервуара слева идёт труба и разветвляется к четырём ёмкостям справа. На трубе сразу за резервуаром трещина, участок закрашен оранжевым; оранжевое продолжается по двум ветвям до двух ёмкостей, две другие ветви и их ёмкости остаются бирюзовыми. Внизу диспетчерский пульт с четырьмя стрелочными приборами, стрелка одного ушла в красный сектор; пунктир соединяет пульт с треснувшим участком

Путь данных серии и граница, которую разбирает каждая статья:

flowchart LR SRC["Источник
база заказов"] -->|"выгрузка дня
Airflow"| RAW["raw
сырые строки"] RAW -->|"проверки, карантин,
контракт"| STG["staging
dbt"] STG --> MART["витрины
факты и измерения"] RAW -.->|"озеро"| LAKE["таблица Iceberg
в S3"] P["Батч-пайплайны:
интервалы, повторы,
поздние данные"] -.- SRC Q["Качество и контракты:
что пускать дальше"] -.- STG M["Моделирование:
гранулярность, SCD, ключи"] -.- MART I["Форматы таблиц:
конкурентная запись,
удаление, история"] -.- LAKE O["Наблюдаемость:
мониторы и lineage
над всем путём"] -.- MART

flowchart LR
    SRC["Источник
база заказов"] -->|"выгрузка дня
Airflow"| RAW["raw
сырые строки"] RAW -->|"проверки, карантин,
контракт"| STG["staging
dbt"] STG --> MART["витрины
факты и измерения"] RAW -.->|"озеро"| LAKE["таблица Iceberg
в S3"] P["Батч-пайплайны:
интервалы, повторы,
поздние данные"] -.- SRC Q["Качество и контракты:
что пускать дальше"] -.- STG M["Моделирование:
гранулярность, SCD, ключи"] -.- MART I["Форматы таблиц:
конкурентная запись,
удаление, история"] -.- LAKE O["Наблюдаемость:
мониторы и lineage
над всем путём"] -.- MART

В статье

Стенд

PostgreSQL 18, база dwh: заказы в raw, модели dbt в staging и marts, метрики мониторов в monitor. Рядом Marquez 0.51.1 — сервер lineage, который принимает события OpenLineage, — и контейнер с генератором, мониторами, dbt-core 1.12 + dbt-postgres 1.11 и dbt-ol из openlineage-dbt 1.53: обёртка запускает dbt и отправляет в Marquez события о каждой модели — что прочитано, что записано, из каких колонок какие получились.

Генератор кладёт 28 дней, 18.08–14.09.2026: в будни 280–320 заказов, в выходные 160–200. Загрузка дня приходит в 02:00 следующего дня. Четыре инцидента:

  • 02.09 (ср), объём — пришло 62% обычного: будний день с объёмом обычного выходного;
  • 08.09 (вт), свежесть — загрузка опоздала на 30 часов;
  • 10.09 (чт), схема — источник добавил колонку coupon;
  • 12.09 (сб), распределение — у трети заказов суммы в рублях вместо копеек.

Модели: stg_orders и stg_customers над источником, int_orders_enriched с регионом клиента и четыре витрины. Три витрины считают деньги — daily_revenue, region_revenue, customer_ltv, — а status_counts считает заказы по статусам и сумму не читает.

Что задето ниже по потоку

Постановка. Инцидент в raw.orders.amount — рубли вместо копеек. Что ниже по потоку задето? dbt-ol run строит модели и отправляет события в чистую базу Marquez. Контроль — граф манифеста dbt: от источника по child_map до всех моделей ниже.

граф наборов ниже raw.orders какие status_counts
манифест dbt (контроль) 6 customer_ltv, daily_revenue, region_revenue, status_counts, int_orders_enriched, stg_orders задета
Marquez, таблицы 6 customer_ltv, daily_revenue, region_revenue, status_counts, int_orders_enriched, stg_orders задета
Marquez, колонки от amount 5 customer_ltv.ltv, daily_revenue.revenue, region_revenue.revenue, int_orders_enriched.amount, stg_orders.amount не задета

Контроль сошёлся: граф таблиц в Marquez совпал с манифестом dbt.

$ python3 scripts/run-lineage.py tables
{"variant": "tables", "outcome": "match", "detail": "ниже raw.orders по Marquez 6 наборов, по манифесту dbt 6"}
$ python3 scripts/run-lineage.py columns
{"variant": "columns", "outcome": "match", "detail": "от raw.orders.amount: полей 5 в 5 наборах; status_counts не задета"}
$ python3 scripts/run-lineage.py column-api
{"variant": "column-api", "outcome": "mismatch", "detail": "API column-lineage Marquez ответил 500"}

На уровне таблиц задето всё, что ниже raw.orders, — шесть наборов, включая status_counts. Это верно и бесполезно одновременно: таблица задета, а её числа — нет, счётчик статусов сумму не читает. На уровне колонок картина точнее: от amount неверное значение доходит до stg_orders.amount, int_orders_enriched.amount и трёх денежных витрин. Владельцу status_counts писать не нужно; владельцам трёх витрин — нужно. Разница между «задето шесть» и «задето пять» на учебном графе мала, на графе в сотни моделей она решает, сколько людей поднимут по тревоге.

Lineage колонок dbt-ol строит сам, разбирая скомпилированный SQL моделей, — но только для колонок, описанных в YAML. Без описания у наборов в Marquez пустая схема, и запрос lineage колонок отвечает 404. Описание — список колонок у каждой модели:

# dbt/models/schema.yml
models:
  - name: stg_orders
    columns: [{name: order_id}, {name: customer_id}, {name: status}, {name: amount}, {name: created_at}]
  - name: stg_customers
    columns: [{name: customer_id}, {name: region}]

С описанными колонками API lineage колонок Marquez 0.51.1 на этом графе отвечает 500 — внутренняя ошибка сервера. Данные при этом на месте: каждый набор в Marquez хранит фасет columnLineage, который прислал dbt-ol, — «это поле получено из таких-то полей входа». Граф колонок выше построен обходом этих фасетов. Вывод практический: lineage — это данные стандарта OpenLineage, а не возможность конкретного сервера, и их можно читать в обход сломанной ручки.

Колонка в WHERE

Колонка влияет на результат не только когда её значение выводится. Три денежные витрины считают сумму с условием status <> 'cancelled': если источник переименует статус отмены, выручка вырастет, хотя amount никто не трогал. Спецификация OpenLineage описывает такие связи как косвенные — фильтр, соединение, группировка (фасет column lineage).

Постановка. Тот же обход фасетов, но от raw.orders.status. Эталон — модели ниже источника, чей скомпилированный SQL в манифесте dbt упоминает status: выводит, фильтрует или соединяет.

$ python3 scripts/run-lineage.py columns-status
{"variant": "columns-status", "outcome": "mismatch", "detail": "от raw.orders.status по фасетам 3 наборов; SQL читает status в 6; не видны: marts.customer_ltv, marts.daily_revenue, marts.region_revenue"}

Фасеты нашли status только там, где он выводится: в двух моделях staging и в счётчике статусов. Три витрины, где status стоит в WHERE, — не видны: в фасетах, которые прислал dbt-ol 1.53, пусты и transformations у полей, и список косвенных зависимостей набора. Граф колонок из этих данных занижает охват ровно там, где ошибка тише всего: витрина строится, числа выглядят правдоподобно. Для оценки охвата по колонкам граф колонок — нижняя граница; верхняя — граф таблиц.

Мониторы: какой порог что ловит

Постановка. После загрузки каждого дня монитор снимает метрики «на момент проверки» — в 06:00 следующего дня: строк за день, среднее суммы, выход суммы за допустимый диапазон, возраст последней загрузки, состав колонок. Детекторы смотрят на метрики дня и на дни до него. Оценка — 14 дней 01–14.09; история — всё, что раньше оцениваемого дня.

# monitors/monitor.py
    return {
        "volume-static": m["rows"] < 200,
        "volume-history": bool(same_dow) and m["rows"] < 0.7 * statistics.mean(same_dow),
        "freshness-static": m["age"] > 24,
        "freshness-history": m["age"] > amu + max(3 * asd, 2),
        "schema-diff": bool(hist) and m["columns"] != hist[-1]["columns"],
        "distribution-static": m["oor"] > 0,
        "distribution-history": m["mean"] is not None and abs(m["mean"] - mu) > 3 * sd,
        "distribution-history-clean": m["mean"] is not None and abs(m["mean"] - cmu) > 3 * csd,
    }

Эталон — по семействам. Опоздание 08.09 — инцидент не только свежести, но и объёма: к 06:00 строк дня нет, и отчёт за день пуст. Поэтому детектор объёма, который тревожит 08.09, прав.

детектор столп тревога, если поймано пропущено ложных
volume-static объём строк меньше 200 2 из 2 0 4
volume-static-best объём строк меньше порога, подобранного задним числом 2 из 2 0 1
volume-history объём меньше 70% среднего трёх прошлых таких же дней недели 2 из 2 0 0
freshness-static свежесть последней загрузке больше 24 ч 1 из 1 0 0
freshness-history свежесть возраст выше среднего за 14 дней на max(3σ, 2 ч) 1 из 1 0 0
schema-diff схема состав колонок не как вчера 1 из 1 0 0
distribution-static распределение сумма вне допустимого диапазона хоть в одной строке 0 из 1 1 0
distribution-history распределение среднее суммы вне ±3σ последних 14 дней 1 из 1 0 0
distribution-history-clean распределение то же, история без дней, где он уже тревожил 1 из 1 0 0

Контроль сошёлся: детекторы по истории не тревожили ни в один день без инцидента.

$ python3 scripts/run-monitors.py volume-static
{"variant": "volume-static", "outcome": "mismatch", "detail": "поймано 2 из 2, ложных 4 (2026-09-05, 2026-09-06, 2026-09-12, 2026-09-13)"}
$ python3 scripts/run-monitors.py volume-static-best
{"variant": "volume-static-best", "outcome": "mismatch", "detail": "порог меньше 185 строк: поймано 2 из 2, ложных 1 (2026-09-06)"}
$ python3 scripts/run-monitors.py volume-history
{"variant": "volume-history", "outcome": "match", "detail": "поймано 2 из 2, ложных 0"}
$ python3 scripts/run-monitors.py distribution-static
{"variant": "distribution-static", "outcome": "mismatch", "detail": "поймано 0 из 1, ложных 0; пропущено: 2026-09-12"}

Постоянный порог объёма поймал оба провала и четыре раза поднял ложную тревогу — каждые выходные: в субботу и воскресенье заказов меньше 200, это норма. Можно ли подобрать порог лучше? Стенд подбирает его задним числом, зная ответ: наименьший порог, который ещё ловит провал 02.09, — «меньше 185 строк» (в тот день пришло 184). Он всё равно тревожит в воскресенье 06.09 — там 167 заказов, обычный выходной. Провал будня лёг внутрь нормы выходных, и никакое число строк его от выходного не отделит: одинаковый объём значит разное в зависимости от дня недели. Порог, сравнивающий день с тем же днём недели в прошлом, этот контекст знает и ловит оба провала без ложных тревог.

Оговорка честности: в первой версии стенда провал был глубже — ниже всех выходных, и постоянный порог, подобранный под данные, разделял их без ложных тревог. Вывод «постоянный порог не работает» тогда не следовал из опыта; провал поднят до уровня выходных, чтобы опыт проверял именно сезонность.

Постоянный построчный диапазон суммы не заметил рубли: каждое значение допустимо, ровно как в статье про качество данных. Среднее суммы против истории заметило. Свежесть ловят оба порога — опоздание на 30 часов большое; порог по истории нужен там, где обычный возраст загрузки сильно разный. Новую колонку ловит простое сравнение со вчерашней схемой.

По дням

Тревоги детекторов, которые работали бы у дежурного, — без порога, подобранного задним числом:

день что случилось тревоги
02.09 (ср) пришло 62% обычного объёма volume-static, volume-history
05.09 (сб) выходной, инцидента нет volume-static
06.09 (вс) выходной, инцидента нет volume-static
08.09 (вт) загрузка опоздала на 30 ч volume-static, volume-history, freshness-static, freshness-history
10.09 (чт) источник добавил колонку coupon schema-diff
12.09 (сб) треть сумм в рублях вместо копеек volume-static, distribution-history, distribution-history-clean; молчит distribution-static
13.09 (вс) выходной, инцидента нет volume-static

Опоздание 08.09 подняло четыре тревоги из двух семейств: объём и свежесть. Одна причина — несколько тревог: без группировки по причине дежурный получит четыре сообщения о том, что загрузка не пришла. Перекличка с ценой телеметрии: каждый детектор — это ещё один источник сообщений, и ложные тревоги постоянного порога объёма — по два сообщения каждые выходные, после которых их перестают читать.

Когда сбой становится нормой

Детектор по истории учится на прошлом — в том числе на прошлых сбоях. Короткий инцидент в историю почти не влияет. Затянувшийся — влияет: каждый день сбоя сдвигает среднее и раздувает σ, и через несколько дней сбой выглядит нормой.

Постановка. Отдельный сценарий генератора: с 02.09 каждый день треть сумм в рублях — источник перешёл на рубли и не вернулся. Других инцидентов нет. Детектор distribution-history сравнивает среднее дня с ±3σ последних 14 дней. Вариант distribution-history-clean — то же правило, но дни, где он уже тревожил, в историю не берёт.

детектор история поймано дней сбоя пропущено ложных
distribution-history все прошлые дни 2 из 13 11 0
distribution-history-clean без дней, где он тревожил 13 из 13 0 0
$ python3 scripts/run-monitors.py drift/distribution-history
{"variant": "drift/distribution-history", "outcome": "mismatch", "detail": "поймано 2 из 13, ложных 0; пропущено: 2026-09-04, 2026-09-05, 2026-09-06, 2026-09-07, 2026-09-08, 2026-09-09, 2026-09-10, 2026-09-11, 2026-09-12, 2026-09-13, 2026-09-14"}
$ python3 scripts/run-monitors.py drift/distribution-history-clean
{"variant": "drift/distribution-history-clean", "outcome": "match", "detail": "поймано 13 из 13, ложных 0"}

Обычный детектор поймал два первых дня, а дальше замолчал: дни сбоя вошли в окно, σ выросла, и среднее в рублях оказалось внутри ±3σ. Монитор выучил сбой как норму — и молчит ровно тогда, когда сбой продолжается. Детектор с историей без собственных тревог ловит каждый из дней.

У чистой истории своя цена: если изменение законное — единицы сменили намеренно, объём вырос после запуска нового канала, — она будет тревожить бесконечно, потому что новую норму ей не показывают. Поэтому исключение дней из истории должно быть обратимым: дежурный, разобрав тревогу, либо подтверждает сбой (день остаётся вне истории), либо признаёт новую норму (история перестраивается с этого дня). Автоматически решить, сбой это или новая норма, детектор не может — это решение владельца данных.

Как выбирать

что на стенде что делать
объём постоянный порог тревожит в выходные, даже подобранный задним числом сравнивать с тем же днём недели, а не с константой
распределение построчный диапазон не видит смены единиц среднее или квантили против истории
затянувшийся сбой история со сбоем замолкает через два дня дни подтверждённых сбоев — вне истории; новую норму признаёт владелец
свежесть ловят оба порога порог из SLA потребителя; по истории — если возраст плавает
схема сравнение со вчерашней ловит новую колонку сравнивать и с контрактом, не только со вчера
lineage таблиц задеты все шесть наборов ниже источника для оценки охвата — грубо, для поиска владельцев — с запасом
lineage колонок задеты пять наборов, счётчик статусов — нет описывать колонки в YAML; читать фасеты, если сервер не отвечает
колонка в WHERE фасеты не видят три витрины, фильтрующие по статусу граф колонок — нижняя граница охвата, граф таблиц — верхняя
тревоги одна причина — четыре тревоги группировать по набору и дню, владелец и SLA на набор

Тревога по данным — тот же алерт, что и по сервису: у него должен быть владелец, порог из обещания потребителю и путь эскалации, как в SLO и бюджете ошибок. Lineage превращает тревогу в список: кого предупредить и какие отчёты за день помечены как ненадёжные.

Чего эти результаты не значат

  • Пороги заданы вручную и подобраны под типичный вид детекторов, а не под эти данные: 70% от среднего, 3σ, окно 14 дней. Другие данные — другие пороги; детекторы с обучением на сезонность — тема для отдельного стенда.
  • Две недели оценки и четыре инцидента — счёт поймано/ложных на таком отрезке показывает характер детектора, а не его точность в процентах.
  • Ошибка API lineage колонок замерена на Marquez 0.51.1 и этом графе; в другой версии ручка может работать.
  • Lineage колонок — из разбора SQL: dbt-ol разобрал простые модели стенда; макросы и динамический SQL разбор может не пройти.
  • Версии: dbt-core 1.12.5, dbt-postgres 1.11.0, openlineage-dbt 1.53.0, Marquez 0.51.1, PostgreSQL 18.6.

Ссылки

Обсуждение в Telegram

Присоединиться →