Сколько примеров нужно, чтобы проверить безопасность AI-приложения
С этим вопросом мы столкнулись при улучшении нашего продукта для red-teaming. Вы реализовали приложение, меры безопасности для него, и проверили, что все работает. Если приложение выдержало все попытки обойти защиту, хочется считать проверку успешной. Но, возможно, их было недостаточно, чтобы обнаружить нарушения. В статье описываем решение, которое помогает различать «нарушений не нашли» от «у нас данных недостаточно». Читать далее