![[3/8] Context Ranking: как выбрать полезные фрагменты из репозитория](https://habrastorage.org/getpro/habr/upload_files/12a/393/220/12a393220c205c7881018962adedc362.png)
[3/8] Context Ranking: как выбрать полезные фрагменты из репозитория
Продолжаем разбирать, как система автодополнения собирает контекст для LLM. В реальном репозитории потенциально полезных файлов слишком много, поэтому мало просто найти фрагменты с похожими словами - нужно понять, какие из них действительно стоит показать модели.Разберём один из классических алгоритмов ранжирования - BM25: почему редкие идентификаторы важнее популярных слов, зачем учитывать размер файла и почему десять одинаковых совпадений не должны быть в десять раз полезнее одного. Читать заметку