Метрика просела на 20% — и это правильный результат: разбор ошибки в ML-пайплайне

Кейс из области ML-инженерии, который напрямую перекликается с задачами прогнозирования в медиа: автор разбирается, почему метрика модели ухудшилась на 20% — и почему это правильно. В скрипте обучения оказался список из 39 парковок, исключённых из-за замороженного ряда, на котором модель училась предсказывать константу.

Ситуация повторилась: сегодня «молчащих» парковок снова 39, но совпадают с прошлым списком лишь девять. Автор обнаружил, что эти константные ряды искусственно улучшают публикуемую MAE примерно на 1% — то есть метрика «росла» за счёт тривиальных предсказаний, а не реального качества модели.

Для продакшена это классическая ловушка: красивые цифры в отчёте не означают, что модель работает лучше. Материал будет полезен тем, кто строит прогнозные системы для проката, стриминга или рекламы и сталкивается с соблазном оптимизировать отчётные метрики вместо реального качества.

Полный разбор методологии и выводов — на Хабре.