RAGу для программиста
Внедрение AI в программные продукты часто сопровождается необходимостью обогатить контекст LLM специфичными для ваших задач данными. Для обогащения знаний используемой вами модели применяется два подхода:- fine-tuning — дообучение модели на ваших данных. Тут финансовые затраты идут на обучение модели:-- ресурсы на fine-tuning в случае on-prem решения,-- дополнительные средства за дообучение модели по подписке.- RAG — внешний источник данных, данные из которого передаются в качестве контекста к промпту в LLM. Затраты тут переносятся на размер запроса за счёт увеличения входящего контекста.Так как я программист, а не Data Scientist, то предпочитаю понятные, переносимые вне зависимости от способа размещения модели, подходы, поэтому мой выбор — RAG. Читать далее