Одна модель, разные результаты: как инфраструктура меняет бенчмарки ИИ-агентов

Материал разбирает исследование Anthropic об инфраструктурном шуме в бенчмарках для ИИ-агентов, которые пишут и запускают код. На Terminal-Bench 2.0 разрыв между самой строгой и неограниченной конфигурациями достиг шести процентных пунктов — это больше, чем типичная разница между соседними позициями в рейтингах.

Вывод, значимый далеко не только для разработчиков: результаты бенчмарков зависят от инфраструктуры не меньше, чем от самой модели. Если это верно для кода, то для генеративных задач в медиапроизводстве — видео, звук, автоматизация монтажа — эффект будет сопоставимым или сильнее.

Для студий и продакшенов это означает, что сравнивать ИИ-инструменты по маркетинговым цифрам бессмысленно без фиксации условий тестирования. Правильнее строить собственные внутренние тесты на своих данных и своём железе, иначе решения принимаются на основе чужих конфигураций.

Методология исследования и цифры — на сайте источника.