Пентест AI-компонентов: какие уязвимости искать и что с ними делать CISO
Автор статьи — Игорь Соколов, специалист АБП2Б. Материал посвящён уязвимостям AI-компонентов, практическим сценариям атак и вопросам безопасности при интеграции искусственного интеллекта в корпоративные системы.Еще недавно AI в веб-приложении чаще всего представлял собой чат-бота, который отвечал на вопросы пользователей. Сегодня ему доверяют гораздо больше: подключают к внутренним документам, корпоративной почте, CRM и базам данных, а иногда даже разрешают самостоятельно выполнять действия.При этом для сотрудников изменения могут выглядеть совершенно незначительными. В корпоративном портале появился умный поиск, в CRM добавили помощника, а служба поддержки начала автоматически обрабатывать обращения. Вроде бы ничего принципиально нового — просто привычные инструменты стали удобнее.Но с точки зрения информационной безопасности ситуация изменилась гораздо сильнее, чем кажется.Обычный веб-пентест по-прежнему включает проверку авторизации, разграничения доступа, API, пользовательского ввода и бизнес-логики. Только теперь между пользователем и приложением появилась языковая модель, которая не просто обрабатывает полученную информацию, но и интерпретирует ее содержимое. А если у модели есть доступ к внешним инструментам, результатом обработки текста может стать вполне реальное действие в корпоративной системе.Для злоумышленника это открывает дополнительные возможности. Вместо того чтобы напрямую обходить ограничения приложения, он может попытаться повлиять на AI-компонент и добиться, чтобы тот самостоятельно получил нужные данные или выполнил операцию. Читать далее