300 классов, 400 сэмплов и никакого промптинга: ЛЛМ как энкодер для классификации
Когда речь заходит о ЛЛМ и классификации, первая мысль — попросить модель сгенерировать класс через промптирование модели с описанием правил и добавлением примеров. Для небольшого количества классов это работает. Но для 100+ классов (или даже 20-30) — уже нет: контекст раздувается, модель галлюцинирует, а инференс может занимать десятки секунд. Мы решили использовать ЛЛМ иначе: не как генератор текста, а как энкодер, прикрутив сверху обычную классификационную голову.В статье расскажу про нашу мотивацию использовать ЛЛМ как энкодер и покажу результаты на четырёх разных доменах банка, в рамках которых сравню генеративные модели с классическими энкодерами Читать далее