Генеративные враждебные сети привлекают много внимания прессы, поскольку широкая общественность выражает опасения по поводу методов подделки, но сообщество специалистов по науке о данных отслеживает их развитие, точность, преимущества и угрозы в течение многих лет. Однако недавно команде Юваля Ниркина, Йоси Келлера (оба из Университета Бар-Илан) и Тала Хасснера (Открытый университет Израиля) удалось добиться значительных результатов в обоих направлениях, уменьшив усилия, необходимые для создания изображений с изображением лица. замена и повышение качества создаваемых материалов с помощью машинного обучения.
[Статья по теме: Последние изменения в сетях GAN]
В недавней статье они обсуждают и сравнивают свою модель с тремя другими методами так называемой смены лица: Face2Face, Nirkin et al. (еще одно исследование с аналогичными методами) и DeepFakes. Несмотря на эти, казалось бы, схожие сравнения, в статье существует три различия в этой модели:
Во-первых, они разработали независимую от субъектов смену лиц. Под этим они подразумевают, что им удалось убрать из уравнения предметное обучение. Вместо того, чтобы настраивать модели для обучения на отдельных людях или парах (как это было в старых версиях), они обучили свою модель с помощью машинного обучения, что позволяет им легко применять ее к любой паре.
Во-вторых, они интегрировали новый метод множественной интерполяции ракурсов: обучение своих моделей работе с исходными и целевыми изображениями с различными частями лица. Это делается путем прогнозирования недостающих частей изображения, затем окрашивания и наложения исходного изображения на целевое. В предыдущих GAN лица в подобных случаях могли быть искаженными или нечеткими.
В-третьих, они придумали новые функции потерь. К ним относятся «ступенчатая потеря согласованности для обучения воспроизведению лица постепенно, небольшими шагами, и потеря пуассоновского смешения для обучения сети смешения лиц плавной интеграции исходного лица в его новый контекст».
[Статья по теме: 6 уникальных сценариев использования GAN]
В целом, это действительно впечатляющий новый метод GAN. С помощью как качественных (как показано выше), так и количественных (в рамках документа) данных они смогли продемонстрировать свои улучшения по сравнению с предыдущими методами и скорость, с которой они могут быть созданы. И, осознавая страх общественности перед этими технологиями, они заканчивают статью предложением другим исследовательским группам создать методы противодействия обнаружению подделок: «запрет на публикацию таких методов не остановит их развитие, а скорее сделает их доступными. для выбора немногих и потенциально слепых политиков в случае неправильного использования ».
Прочтите больше статей по науке о данных на OpenDataScience.com, включая учебные пособия и руководства от новичка до продвинутого уровня! Подпишитесь на нашу еженедельную рассылку здесь и получайте последние новости каждый четверг.
