CMF: решения за миллисекунды без генерации токенов (аналог Jev) с открытыми весами
CMF модель для быстрого принятия решений (аналог Jev) — локальная модель для выбора решений без генерации токенов. Она определяет класс, умеет отказываться от неуверенных ответов и передавать незнакомые случаи оракулу(сторонней модели в качестве учителя) и обучаться (повторные запросы уже идут без оракула). В статье — устройство CMF, сравнение с Jev и Laya, запуск через CLI и API, добавление собственных навыков, а также результаты переноса полного пути на Apple Metal и Vulkan. На RTX PRO 4000 Blackwell медианная задержка составила 1,10–1,24 мс в непрерывной серии. Читать далее