Четыре AI-агента сожгли 40 млн токенов, споря о коде. Я научил их вовремя останавливаться

Автор описывает типичную проблему мультиагентных LLM-систем: несколько AI-агентов, обсуждая код, могут бесконечно спорить и сжигать токены, защищая свои первые догадки вместо поиска правильного решения. В одном из экспериментов четыре агента израсходовали около 40 млн токенов на бесплодную дискуссию.

Решение — встроить структурированное обсуждение четырёх ролей до первой правки кода. Схема была проверена в 480 запусках и позволила сэкономить порядка 4,5 млн токенов. Это показывает, что управление процессом рассуждения важнее, чем мощность отдельной модели.

Отдельная находка — баг, из-за которого агенты продолжали спорить, когда их ответы ещё нельзя было объективно сравнить. То есть система тратила ресурсы на сравнение несопоставимых вариантов, что типично для плохо спроектированных пайплайнов.

Материал полезен командам, которые строят агентные workflow для разработки, ревью и автоматизации. Детали архитектуры и метрики экспериментов — на Хабре.