Чат, который ничего не сочиняет: 43 гипотезы, четыре ошибки замера и одна честная стена
Идея была простая и не новая: у большой языковой модели два неприятных свойства — она стоит денег на каждый ответ и держит в памяти десятки гигабайт весов, а ещё она может уверенно написать то, чего нет нигде. Захотелось собрать систему, у которой ответ выбирается из существующего текста, а не порождается: корпус лежит на диске файлами, кандидатов находит обычный код, а нейросеть-судья только выбирает строку и проверяет её. Судья — классификатор с типизированными примитивами: «выбери один из вариантов», «это правда?», «оцени по шкале». Текст она не пишет вообще. Ответ — дословная цитата с источником, и выдумать фразу, которой нет в корпусе, система не может по построению. Читать далее