Периодические функции как функции активации в нейросетях
В данной статье мы рассмотрим применение периодических функций в качестве функций активации в нейросетях. Мы проведём сравнительные эксперименты на простых сетях и посмотрим, как периодические активации (например, sin) ведут себя по сравнению с классическими непериодическими — tanh, sigmoid и ReLU. Читать далее