Обнаружение дипфейков предполагает выявление видео и изображений, которые были обработаны с использованием методов искусственного интеллекта и машинного обучения, чтобы создать впечатление, будто люди говорят или делают то, чего на самом деле никогда не делали.
Поскольку дипфейки становятся все более изощренными, их обнаружение становится все более сложной задачей, но это имеет решающее значение для поддержания доверия к цифровым медиа.
Основной подход к обнаружению дипфейков
Основной подход к обнаружению дипфейков заключается в использовании моделей машинного обучения, обученных различать подлинный и манипулируемый контент. Эти модели анализируют различные аспекты медиа, такие как несоответствия в выражениях лиц, неестественные модели моргания, а также несоответствия в освещении или фоновом шуме.
Поскольку дипфейки создаются с помощью алгоритмов, которые могут иметь определенные недостатки, эти модели часто ищут признаки использования этих алгоритмов.
Прорывной метод обнаружения дипфейков аудио
Теперь обнаружение дипфейков вступило в новую эру благодаря инновационному прорыву ученых из Klick Labs . Команда разработала беспрецедентный подход к борьбе со все более изощренным миром аудио-дипфейков.
Используя искусственный интеллект, этот метод улавливает тонкие нюансы, которые отличают подлинную человеческую речь от искусственных имитаций. Он представляет собой многообещающее решение проблем, выявленных недавними инцидентами, такими как фальшивый звонок от робота Джо Байдена и реклама поддельной посуды Тейлор Свифт на Meta.
Следовательно, это развитие происходит в критический момент, когда неразличимые искусственные голоса становятся все более распространенными.
Использование голосовых сигнатур человечества
Вдохновение для создания этого нового метода обнаружения имеет двойное происхождение. Первоначально это было связано с предыдущими исследованиями Klick Labs по использованию голосовых биомаркеров для улучшения показателей здоровья. Более того, это подпитывается увлечением изображением искусственного интеллекта в научно-фантастических фильмах, таких как «Бегущий по лезвию».
Впоследствии исследователи отточили «признаки жизни» человеческой речи, такие как характер дыхания и микропаузы. Они разработали метод, который использует эти голосовые биомаркеры для точного обнаружения дипфейков.
Представляем новую парадигму обнаружения
Ян Фоссат, старший вице-президент Klick Labs и главный исследователь исследования, подчеркнул эффективность этого подхода.
«Наши результаты подчеркивают потенциал использования голосовых биомаркеров в качестве нового подхода к обнаружению дипфейков, поскольку им не хватает явных признаков жизни, присущих аутентичному контенту», — объяснил Фоссат. «Эти признаки обычно незаметны для человеческого уха, но теперь их можно различить благодаря машинному обучению и голосовым биомаркерам».
Исследование звуков
Журнал с открытым доступом JMIR Biomedical Engineering недавно опубликовал исследование под названием «Исследование глубокого обнаружения голоса с использованием шаблонов речевых пауз: разработка и проверка алгоритма». Исследование демонстрирует, как голосовые биомаркеры в сочетании с машинным обучением могут с надежной точностью отличать дипфейки от подлинного звука.
В исследовании приняли участие 49 участников с разным опытом и акцентами. Модели Deepfake были обучены на образцах своего голоса для создания соответствующих искусственных образцов звука. Анализируя показатели речевых пауз, команда смогла отличить настоящие голоса от фальшивых с точностью примерно 80 процентов.
Будущее обнаружения дипфейков
Это событие особенно актуально в свете недавних мошенничеств с клонированием голоса и решения Федеральной комиссии по связи объявить вне закона дипфейковые голоса в звонках роботов. Более того, в связи с инициативой Meta по маркировке контента, созданного искусственным интеллектом, и надвигающейся угрозой дипфейков, влияющих на предстоящие президентские выборы в США, потребность в эффективных методах обнаружения становится более острой, чем когда-либо.
Фоссат признал постоянное развитие технологии дипфейков и постоянные проблемы, которые она представляет. «Хотя наше исследование предлагает многообещающее решение этой растущей проблемы, мы признаем необходимость постоянного совершенствования нашей технологии обнаружения, чтобы идти в ногу с растущим реализмом дипфейков», — сказал он.
Новаторская работа Klick Labs подчеркивает потенциал искусственного интеллекта и голосовых биомаркеров в обеспечении аутентичности цифрового общения . Это также подчеркивает необходимость инноваций в условиях развивающихся цифровых угроз. Поскольку дипфейки становятся все более реалистичными, совершенствование методов обнаружения имеет решающее значение для поддержания нашей цифровой целостности.
В конечном счете, обнаружение дипфейков — это многогранная задача. Это важнейшая область исследований, поскольку последствия необнаруженных дипфейков могут быть значительными, затрагивая все: от личной репутации до целостности демократических процессов.
Полная версия исследования была опубликована в журнале J MIR Biomedical Engineering.
