Открытые модели против облака: T-one, GigaAM или Deepgram: что реально тянет обычный CPU для живых субтитров в звонке
Открытые модели против облака: T-one, GigaAM или Deepgram: что реально тянет обычный CPU для живых субтитров в звонкеМне понадобились живые субтитры на русском в звонке один на один, и я захотел уйти с облачного Deepgram на свой сервер. Поставил стенд и прогнал T-one от Т-Банка, GigaAM от Сбера и Vosk на обычном CPU, на колл-центре и на получасовой живой сессии. Главный вывод оказался не про модели: один и тот же код на двух серверах с похожим числом ядер дал разницу в ёмкости в разы. Внутри замеры качества и задержки, грабли, расчёт окупаемости и открытый код стенда с зондом, который за минуту покажет, сколько потянет ваш сервер. Читать далее