Как мы вынесли семантический поиск на обычный сервер без видеокарты, облака и выделенной поисковой системы
Когда мы занялись поисковым слоем AI-ассистента в «Первой Форме», договорились на входе: языковую модель, которая отвечает пользователю, не трогаем. Вся эта история — о том, что происходит на шаг раньше: как система решает, что именно показать модели, прежде чем та начнёт отвечать.Планку себе поставили простую на словах и сложную на деле: семантический поиск промышленного уровня, но без специализированной инфраструктуры, целиком внутри изолированной сети, на том же оборудовании, что и само приложение.Спойлер: получилось. В статье расскажу, какие решения мы принимали и что перебирали в качестве альтернатив. Но отдельно хочу выделить методику оценки: первые замеры качества нас обманули и увели в неверном направлении, и разбор того, почему так вышло, — возможно, самая полезная часть этого текста. Читать далее