Маракуйя ИИ проходит Terminal-Bench 4 и OSWorld 2: новый бенчмарк агентных моделей

Автор продолжает серию сравнительных тестов российских языковых моделей, но меняет методологию: если в прошлый раз Алиса и Гигачат оценивались как чат-ассистенты в браузере, то теперь акцент сделан на агентных бенчмарках Terminal-Bench 4 и OSWorld 2. Эти наборы проверяют способность модели выполнять многошаговые задачи в терминале и в среде операционной системы, а не просто генерировать текст.

Такой переход отражает общий сдвиг индустрии от оценки «разговорных» качеств к измерению практической автономности агентов. Для киноиндустрии это релевантно в той мере, в какой продакшн- и постпродакшн-пайплайны всё чаще автоматизируются с помощью ИИ-агентов.

В анонсе не раскрыты конкретные результаты и методика подсчёта — детали, включая цифры и выводы по каждой модели, доступны в полной версии статьи на Хабре.