Мы сжали нейросеть до 2 бит: математика рухнула с 81% до 6%. Но 27B нас удивила
Недавно мы опубликовали эксперимент, в котором удалось запустить Qwen3.8-27B целиком на RTX 5060 с 8 ГБ видеопамяти и получить около 30 токенов в секунду.Результат оказался неожиданно интересен сообществу. Но в комментариях довольно быстро появился закономерный вопрос: а насколько сильно отупела модель после такого сжатия?Вопрос справедливый. Можно поместить хоть 100 миллиардов параметров в несколько гигабайт, но если модель после этого не может решить элементарную задачу, практической пользы немного.Поэтому мы временно отложили оптимизацию скорости и занялись проверкой качества.Результаты оказались гораздо интереснее, чем мы ожидали.Сначала немного контекстаНаш проект называется ExVRAM Lab. Это открытая исследовательская лаборатория, посвящённая запуску больших языковых моделей на обычных потребительских видеокартах с ограниченной памятью.В первой статье мы показали, что Qwen3.8-27B в формате UD-IQ2_XXS полностью размещается на RTX 5060 8 GB.На реально заполненном контексте около 8 тысяч токенов медианная скорость пяти запусков составила 30,10 токена/с, а пиковое потребление VRAM — 7767 MiB.То есть с точки зрения размещения модели в памяти и скорости генерации задача была решена.Но оставался главный вопрос: сколько способностей исходной модели мы потеряли ради этих цифр?IQ2_XXS — очень агрессивный формат квантования. Он позволяет существенно сократить объём весов, но вместе с этим возникает риск искажения вычислений.Причём влияние квантования может быть неодинаковым. Модель способна нормально отвечать на простые вопросы, но ошибаться в математике, терять последовательность рассуждений или переставать выполнять сложные инструкции. Читать далее