![[Перевод] Языковая Модель без магии: Крошечная Language Model на чистом Node.js](https://habrastorage.org/getpro/habr/upload_files/ba2/483/971/ba248397195572a0e649ebae4002a86a.png)
[Перевод] Языковая Модель без магии: Крошечная Language Model на чистом Node.js
Мы создаем крошечную языковую модель с нуля на чистом Node.js без использования TensorFlow или PyTorch, реализуя нейроны, автоград, эмбеддинги, механизм самовнимания (self-attention), полносвязную сеть (FFN), обратное распространение ошибки и SFT, одновременно наблюдая за тем, как отдельные веса и целые матрицы изменяются в процессе обучения Это не новая GPT и не прод ML...