RAG — это про замеры, а не про код. История одного бота, где почти всё «правильное» сделало хуже

Статья на Хабре критикует поверхностный подход к построению RAG-систем, когда авторы ограничиваются подключением векторной базы, эмбеддера, реранкера и BM25, выдавая результат за продакшн-готовое решение. Автор на реальных данных показывает, что почти каждое «правильное» инженерное решение на практике ухудшает качество ответов. Вместо слепого копирования пайплайнов он призывает к тщательным замерам и эксперименту.

Хотя статья адресована разработчикам, для редакции ЦОММ она полезна как метафора: в киноиндустрии аналогичная ситуация — погоня за модными технологиями (AI-сценарии, deepfake, рекомендательные алгоритмы) без метрик и понимания контекста приводит к обратному эффекту. Подробности эксперимента и выводы доступны на сайте источника.