Всё, что вы хотели знать про локальные LLM, но боялись заинференсить
LLM может влезать в контекст и генерировать 200 tok/s, но если она не может найти нужный факт в тексте, толку от этого мало. Поэтому мы захостили 8 локальных LLM и прогнали через NIAH-тесты: тройной хоп, пять дистракторов и контексты до 128K. Читать далее