Data-Quality

Data observability и lineage: наблюдаемость самих данных

Data observability и lineage: наблюдаемость самих данных

Пайплайн зелёный, а данные за день не пришли, источник добавил колонку или перешёл на рубли. Четыре инцидента за две недели против восьми детекторов объёма, свежести, схемы и распределения и порога, подобранного задним числом: какой порог тревожит каждые выходные, какой не видит смены единиц, какой ловит всё без ложных тревог. И lineage из dbt через OpenLineage в Marquez: что ниже по потоку задето на уровне таблиц и на уровне колонок. Всё — счётом против эталона генератора

Data quality и контракты данных: проверки, SLA и валидация

Data quality и контракты данных: проверки, SLA и валидация

Восемь видов дефекта в партии заказов против тестов dbt и ожиданий Great Expectations: что ловит каждый набор, что пропускают оба, сколько плохих и хороших строк доходит до витрины, если проверка останавливает сборку, только предупреждает или отправляет строки в карантин, и что ловит контракт модели dbt — а что проходит мимо него. Всё — счётом против эталона генератора