Тестирование ИИ-агента реального действия на выполнение неназванных условий: прогоны на DeepSeek
Что показали 3360 испытаний и что агент при этом сообщал пользователюРанее мы описывали методологию создания тестовой системы для ИИ-агентов с вызовом функций, имеющих реальный эффект. https://habr.com/ru/articles/1090748/.Ее основная идея заключается в том, что для совершения действия агент должен проанализировать условия, которые обеспечивают правомерность действия, но при этом он может их узнать только из внешнего источника – из ответа функции чтения или из доступного ему документа, то есть условие имеет статус неназванного. Методология позволяет воспроизводимо проверить, вызовет ли ИИ-агент функцию, когда вызывать ее нельзя, а также сопоставить с действием ответ агента, который он даст при этом пользователю.Метод, план прогона, карты ошибок и подробный анализ опубликованы в препринте https://doi.org/10.5281/zenodo.23556771. Здесь мы представим лишь некоторые выводы, касающиеся работы агента плюс несколько замечаний о методе.Главный результат прогона: удержит ли агент условие, зависит прежде всего от того, как оно записано в данных. Норму, записанную словом в имени поля или значением-запретом, DeepSeek соблюдал почти всегда. Запрет, который нужно вывести из описания объекта, он нарушал и без всякого давления. В большинстве срывов агент называл препятствие и всё равно выполнял действие. Читать далее