Биомеханика против дипфейка: почему волосы не лгут
Привет, Хабр! На связи Светлана Газизова, APO по ИИ в UserGate. Сегодня разберем один из наиболее актуальных способов распознать дипфейк — по движению волос. Обсудим надежность этого способа, а также поговорим о том, как генеративные модели в целом обращаются с биомеханикой.Биомеханика — это раздел науки о том, как тело и его отдельные части отвечают на механическую нагрузку: как гасит удар сухожилие, как сгибается сустав, с какой инерцией и жесткостью ведет себя мышца под весом. Теми же уравнениями описывается и обычная прядь волос — у нее есть масса, жесткость на изгиб, собственное демпфирование колебаний. Инженер, который проектирует протез, и художник по спецэффектам, который настраивает, как будет колыхаться волос анимированного персонажа, в некотором смысле решают одну и ту же задачу. Просто с разной ценой ошибки.В физике категорию объектов, к которой относятся волосы, называют мягким телом — в противоположность жесткому, у которого форма при движении не меняется, вся геометрия смещается синхронно, как один блок. Мягкое тело так не умеет. Разные его части реагируют на нагрузку неравномерно, с задержкой, с собственной инерцией, и волосы на видео — почти хрестоматийный пример такого движения. Тысячи независимых нитей, у каждой своя масса, жесткость, угол роста из фолликула. Прядь у виска запаздывает на долю секунды относительно пряди на затылке. Отдельные волоски вибрируют от воздушного потока, который создается движением головы.Биомеханика также конкретизирует волос как материал: он вязкоупругий, то есть одновременно упруго возвращается в форму и вязко гасит колебание. Оба эти свойства чуть отличаются от пряди к пряди: так происходит из-за толщины, влажности, степени завивки. Коэффициент демпфирования, которым описывают это явление, не одинаков даже в пределах одной прически. Отсюда — легкий хаос движения, которое глаз считывает как «живое», даже не понимая, на чем именно основано это ощущение. Читать далее