Зачем мы жжём сутки машинного времени, если лидерборд уже есть
Публичный лидерборд — это рейтинг моделей на одной дистанции: все решают одни и те же задачи, и видно, у кого процент продуктивно-эффективности выше. Звучит как ответ за пять минут и принятие решения о том, что устанавливать к себе на мощности, а что пропустить. На деле дистанция у всех своя: чужие версии моделей, чужие настройки, чужие режимы инференса. Мы проверили на себе: полгода и полсотни часов машинного времени ушли на то, чтобы понять, почему чужие цифры показывают не ту картину. Внутри — четыре причины, почему цифры врут, и три истории, в которые трудно поверить: модель на 27 млрд параметров догнала модель на 284 млрд; «кодинговая» модель провалила кодинг; есть задачи, которые не берёт ни одна модель, ни на одном из шести языков. И таблица, после которой вы навсегда начнёте фиксировать настройки. Читать далее