Промпт — не контракт: замерил, как часто модель нарушает жёсткие правила, и вынес их в код

Автор статьи делится практическим опытом эксплуатации ИИ-консультанта на сайте и проверяет, насколько надёжно языковая модель соблюдает жёсткие ограничения, заданные в системном промпте. В его случае это два критичных правила: не называть цены и не раскрывать имена клиентов, связанных NDA.

Правила были прописаны капслоком и с пояснениями, однако замеры показали, что модель всё равно их нарушает с заметной частотой. Это подтверждает тезис, вынесенный в заголовок: промпт — не контракт, и полагаться на него как на единственный механизм защиты от утечек или нежелательных ответов нельзя.

Решением стало вынесение жёстких ограничений из промпта в код — то есть на уровень программной валидации и фильтрации ответов. Для команд, строящих клиентские ИИ-сервисы, материал даёт конкретную методологию: сначала измерить частоту нарушений, затем перенести критичные правила в детерминированную логику. Детали замеров и реализации — в полной статье.