Запуск и оптимизация локальной LLM с llama.cpp
В статье разберём фреймворк llama.cpp для запуска локальной LLM на выделенном облачном GPU, а также практический подход к оптимизации производительности. Мы поднимем REST API, выполним запрос, проведем бенчмаркинг и подберем оптимальные параметры под конкретную видеокарту. Читать далее