Mlops

Реестр моделей: версионирование того, что нельзя прочитать глазами

Реестр моделей: версионирование того, что нельзя прочитать глазами

Модель — бинарный артефакт, к которому неприменимы код-ревью и git diff. На стенде с MLflow и DVC: повторное обучение на тех же входах даёт те же предсказания и другие байты, срез данных, версия признака, препроцессинг вне артефакта и порог из другого окна переворачивают решения, а артефакт skops под старым scikit-learn не грузится с тем же списком доверия. Алиас в реестре перенесли — запущенный сервинг продолжает обслуживать старую версию, его /version об этом не скажет, а истории назначений алиаса реестр не хранит. DVC восстанавливает данные побайтно; тот же текстовый датасет git после gc хранит компактнее

Признаки в проде: feature store и train/serve skew

Признаки в проде: feature store и train/serve skew

Признак считают дважды: батчем для обучения и онлайн при инференсе. На стенде онлайн-код по той же спецификации расходится с батчем в каждом значении, перевёрнутые решения и пропущенное мошенничество есть, ошибок — ноль. Feast убирает расхождение путей, но его граница point-in-time включительна, онлайн-хранилище не применяет ttl, а материализация раз в сутки делает устаревшей половину значений. PIT по времени события ещё не PIT по времени знания, а накопительный счёт с самим событием при включительной границе отдаёт модели собственную метку — с ней качество в проде падает ниже случайного. И когда feature store не нужен вовсе