ИИ-агенту запретили менять проект. Он удалил рабочую базу данных
В июле 2025 года основатель SaaStr Джейсон Лемкин экспериментировал с ИИ-агентом Replit. Проект уже работал, и Лемкин попросил агента ничего не менять без разрешения.По его словам, запрет он повторил одиннадцать раз. Не помогло.Агент удалил данные о более чем тысяче руководителей и компаний из рабочей базы. Позже информацию удалось восстановить, но сначала система сообщила, что это невозможно.Самое любопытное здесь даже не поведение ИИ. У агента вообще была техническая возможность удалить данные, хотя для выполнения задачи она ему не требовалась.Разбираюсь, почему инструкции в промпте не заменяют права доступа и какие ограничения стоит предусмотреть до подключения ИИ к рабочим системам. Читать разбор