Бенчмарк качества англо-русского перевода для ведущих западных и китайских LLM
Сто ловушек в одном рассказе, LLM-судья с ключом ответов и балл, который считает код. Так устроен бенчмарк художественного перевода, который теперь встроен в опенсурсный конвейер BookTrans. В статье — зачем он понадобился, и как на нём выступили флагманы Anthropic, OpenAI и Google против китайских моделей. И главный вопрос: можно ли сэкономить на китайцах, не потеряв в качестве. Читать далее