Интерактивный NPC на Unreal Engine. Часть 2: RAG, эмоции и function calling
В первой части мы собрали прототип интерактивного NPC на базе MetaHuman в Unreal Engine.NPC “слышал” игрока (STT), обрабатывал распознанный текст при помощи LLM (инференс локальных моделей через llama.cpp) и озвучивал ответ (TTS + lipsync).Но «говорящая голова» ещё не персонаж. Представление о мире у такого NPC статично (зашито в system prompt), на любой запрос он отвечает одинаково безэмоционально и вежливо и никак не влияет на происходящее в игре.Именно эти проблемы мы и попытались решить.Spoiler — у нас получилось. Читать далее