Убрать оригинальную речь из старого закадрового перевода
Суть идеи в том, что я хотел получить очищенный русский перевод для фильмов, в которых изначально под озвучкой был слышен английский оригинал. При этом сохранить музыку, звуки и сам голос переводчика.Это мой давний закидон. Два голоса одновременно мне сильно мешают погрузиться в кино. Понимаю, что большинство людей это вообще не беспокоит, но я, к сожалению, не из них.В результате эксперимента получился DubClean — это сервис, который сопоставляет оригинальную дорожку и дорожку с русским закадровым переводом, выделяет речь, убирает английскую подложку и собирает результат с музыкой и эффектами. Внутри сервиса готовые модели, две небольшие собственные нейронки и несколько алгоритмических этапов. Ниже опишу, как сложилась эта схема и где у неё остались ограничения. Читать далее