Один и тот же ИИ, разная цена: харнесс решает, во сколько обойдётся генерация
Оригинал: Почему одна и та же модель может стоить в пять раз дороже
1 / 14Оригинал: Почему одна и та же модель может стоить в пять раз дороже
Исследователи из UC Berkeley и Arena выяснили, что выбор обвязки вокруг LLM (Claude Code, Codex CLI, Pi) почти не влияет на успешность, но меняет стоимость решения задачи в разы.
Исследователи из UC Berkeley и Arena сравнили семь моделей внутри трёх оболочек — Claude Code, Codex CLI и минималистичного Pi. На двух бенчмарках выбор харнесса почти не влиял на среднюю успешность решения задач, но разница в стоимости одной и той же модели достигала пятикратной.
Вывод важен для всех, кто закупает ИИ-инструменты: сравнивать модели в отрыве от обвязки некорректно, поскольку именно харнесс определяет расход токенов и итоговую цену. Для медиакомпаний, использующих ИИ в постпродакшне или редакционных пайплайнах, это прямой аргумент в пользу аудита затрат.
Методология и цифры — в полной статье на Хабре.
Материал агрегирован; полный текст — на сайте Хабр — ИТ-новости.
Для продакшенов, использующих ИИ в пайплайнах (превиз, монтаж, генерация ассетов), это прямой сигнал: экономика ИИ-инструментов зависит не только от модели, но и от того, как её обернули.
Сравнение проводилось на двух бенчмарках с семью моделями внутри трёх харнессов — от промышленных Claude Code и Codex CLI до минималистичного Pi.
Студии и вендоры ПО для кино смогут оптимизировать затраты на ИИ без потери качества, выбирая более дешёвые обвязки; это ускорит внедрение ИИ в постпродакшен и препродакшен.
Увеличить1 / 14Комментарий редактора Игоря
Пока индустрия спорит о том, какая модель умнее, реальные деньги экономятся на архитектуре вокруг неё — и это важнее для бюджета фильма, чем очередной лидерборд.