WebPageBench: веб-среда для оценки агентов
Веб-агент сообщил «готово» — а сделал ли? На живых сайтах это не проверить: контент меняется, а судить приходится либо по словам самого агента, либо через LLM-судью, который тоже ошибается. Мы выпускаем WebPageBench — открытый бенчмарк из 152 задач на шести имитациях популярных российских сервисов (от покупок на маркетплейсах до бронирования билетов на поезд). В комплекте локальная среда, в которой любой агент запускается одной командой, и публичный рейтинг, в котором представлено 24 связки «модель + обвязка», а по результатом которого видно, что агенты зачастую сильно завышают свои результаты.Код и задачи лежат в репозитории, рейтинговая таблица — на Hugging Face, препринт статьи — на arXiv. Ниже расскажем, зачем мы это сделали, как бенчмарк устроен, что уже видно по результатам и как запустить его у себя. Читать далее