Токены в ИИ и оптимизация промптов: как я сэкономила 50% бюджета и перестала здороваться с ChatGPT
Меня зовут Анна, я ведущий инженер по тестированию в Рексофт. Последние два года я плотно работаю с большими языковыми моделями: интегрирую их в CI/CD, использую для генерации тестов и анализа логов. И довольно быстро столкнулась с жестокой реальностью: недельный лимит токенов на проекте — всего 10 000, а один мой вежливый запрос с «пожалуйста» съедал почти 500 токенов на входе и еще пару тысяч на выходе.Пришлось пересмотреть подход. В этой статье я расскажу, как устроена механика токенов, почему русский язык дороже английского в полтора раза, и как я научилась формулировать промпты так, чтобы получать точные ответы за минимальные деньги. Читать далее