RAG-бот по материалам эксперта: как я мерил качество поиска и почему гибрид оказался хуже чистого вектора
Эксперт попросил бота, который отвечает его голосом и только по его собственным материалам: курсам в PDF, расшифровкам видео и записям занятий. Если ответа в материалах нет, бот должен честно отправить человека к живому эксперту, а не придумывать. Я собрал такого бота на Python и Telegram, и больше всего времени ушло не на промпты, а на поиск: на первых же живых вопросах выяснилось, что бот просто не находит нужный материал.В статье я расскажу, как устроен поиск в этом боте, как я построил стенд для замера (метрики recall@6 и MRR), почему гибридный поиск, который все советуют, у меня проиграл чистому векторному, и что пришлось поменять, когда упёрся в лимиты провайдера эмбеддингов. Заказчик согласился на публикацию только без имён, поэтому эксперт, его материалы и тема здесь не названы, а примеры вопросов в статье придуманы мной и к его текстам отношения не имеют. Код ниже взят из рабочих файлов, лишнее я убрал. Читать далее