Qwen3.5/3.6 на 16Гб VRAM: кванты, fine-tune, сравнение и немного про Gemma-4
Всем привет.В свободное время и под настроение я ваяю маленькие, незамысловатые игры на основе d10-кубов механик, похожие на PvP или PvE настолки, которые нередко проходят в автоматическом режиме (ИИ vs ИИ), а иногда получается что-то чуть серьезнее: вроде игры "Жизнь", но на стероидах с экономикой, сражениями и в масштабах солнечной системы. Не являясь настоящим программистом и написав за всю жизнь, наверное, самое большее - ну, возможно, не более тысячи строк кода - мне для воплощения своих причудливых идей, естественно, потребовалась помощь психиатров нейросетей, которые, как тогда говорили - уже научились писать вполне рабочий, годный код.Конкретна эта история начиналась банально, а может даже и несколько варварски: с web-чата с одной китайской нейросетью со значком в виде кита в формате ctrl+c > ctrl+v в файлики игры, но вскоре проекты разрослись, структура стала сложной и потребовалось что-то вроде OpenCode или LM Studio Bionic (вышел совсем недавно, но мне понравился), а затем встал и выбор локальной модели, которая всегда будет бесплатной, под рукой и без ограничений типа "server is busy... try later".Зоопарк моделей разросся довольно быстро и хотя базовых моделей не так много, но это количество предстояло умножить на разные варианты квантования и присыпать сверху горкой т.н. fine-tune моделей, которые, буквально, сотнями, если не тысячами - рассыпаны по HuggingFace, а их авторы обещают космическую скорость инференса, интеллект передовых моделей и "думалку" (режим thinking) от какого-нибудь Deep Seep, Claude или Fable. Читать далее