Два в одном: шумоподавление и дереверберация в реальном времени
Привет, Хабр! Меня зовут Захар Кондауров. Сегодня я хочу поделиться опытом разработки легковесной real-time модели шумоподавления и дереверберации, над которой я работал в рамках проектов Инженерно-математической школы НИУ ВШЭ и VK под руководством Ивана Бескровного, руководителя команды звуковых технологий VK Видео.Большинство исследований в speech enhancement часто ограничиваются только шумоподавлением, хотя современные архитектуры потенциально позволяют решать более продвинутые задачи, например, задачу совместного шумоподавления и дереверберации. Это обусловлено тем, что бенчмарков, ориентированных на шумоподавление значительно больше, чем на другие искажения аудиосигнала, как и моделей для сравнения. Кроме того, далеко не все решения обучены на full-band аудио с частотой дискретизации 48 кГц, только на 16 кГц аудио. Такое ограничение сильно снижает диапазон частот в аудиосигнале.Модель, которая решает одновременно задачи подавления шума и реверберации для full-band аудио, позволит устройствам с ограниченным количеством ресурсов обрабатывать речевой сигнал локально, уменьшая нагрузку на серверы и задержку ответа системы. Зачастую задачи шумоподавления и дереверберации решаются последовательно разными нейронными сетями. Модель, которая будет способна решить обе задачи одновременно, позволит уменьшить количество используемой памяти и время обработки сигнала. Читать далее