Этот ИИ переносит одежду между фотографиями!

Первоначально опубликовано на louisbouchard.ai, прочтите его за 2 дня до этого в моем блоге!

Алгоритм представляет позу и форму тела в виде параметрической сетки, которую можно восстановить из одного изображения и легко изменить. Имея изображение человека, они могут создавать синтетические изображения человека в разных позах или в другой одежде, полученные из другого входного изображения.

Посмотрите видео, чтобы увидеть все примеры!

Эта статья посвящена новому докладу от Facebook Reality Labs, который будет представлен на Европейской конференции по компьютерному зрению (ECCV) 2020. Там они работали над повторным рендерингом человека из одного изображения. Короче говоря, имея изображение человека, они могут создавать синтетические изображения человека в разных позах или с другой одеждой, полученные из другого входного изображения. Это называется переносом позы и переносом одежды.

В большинстве современных подходов используется карта текстуры UV на основе цвета. Где для каждого пикселя текстуры карты признаков назначается соответствующая координата пикселя в исходном изображении. Эта карта соответствия затем используется для оценки цветовой текстуры между входным и целевым изображением в УФ-системе общей поверхности.

Основное отличие их новой техники состоит в том, что вместо использования этой цветной карты текстуры UV они используют выученную карту текстуры высокой размерности для кодирования внешнего вида. Это способ получить более подробную информацию о вариациях внешнего вида в разных позах, точках зрения, личности и стилях одежды на изображении. Это может показаться абстрактным, но прежде чем показать некоторые результаты, давайте немного углубимся в процесс, чтобы все прояснить.

Учитывая конкретный образ человека, они смогли синтезировать новый образ человека в другой целевой позе тела. Этот новый метод в основном состоит из четырех основных шагов:
Используя DensePose, разработанный в другой статье, они смогли использовать соответствия, найденные между входным изображением и SMPL, для извлечения частичной текстуры, представленной в текстуре UV. карта обсуждалась ранее.

Короче говоря, SMPL - это реалистичная изученная модель формы человеческого тела, доступная для исследовательских целей.

Затем с помощью FeatureNet, которая представляет собой сверточную сеть, подобную U-Net, показанную на этом изображении.
Они преобразуют частичную UV-карту текстуры в полную UV-карту характеристик, которая дает более богатое представление для каждого пикселя текстуры.

На третьем этапе в качестве входных данных используется целевая поза, а также недавно найденная карта УФ-характеристик для «рендеринга» промежуточного изображения УФ-элемента.

Наконец, они используют RenderNet, сеть генераторов на основе Pix2PixHD, которую можно использовать для преобразования карт семантических меток в фотореалистичные изображения или синтеза портретов из карт меток лиц. В этом случае Pix2Pix использовался на изображении функции, чтобы создать фотореалистичное изображение покойного человека. Все статьи, связанные с этой новой техникой, приведены ниже по ссылкам, если вы хотите узнать о них больше.

Статья: http://gvv.mpi-inf.mpg.de/projects/NHRR/data/1415.pdf
Проект: http://gvv.mpi-inf.mpg.de/projects / NHRR /
Pix2PixHD: https://github.com/NVIDIA/pix2pixHD
U-Net: https://arxiv.org/pdf/1505.04597.pdf
SMPL: https://dl.acm.org/doi/10.1145/2816795.2818013

Если вам нравится моя работа и вы хотите поддержать меня, я буду очень признателен, если вы подпишетесь на меня в моих каналах в социальных сетях:

  • Лучший способ поддержать меня - это подписаться на меня на Medium.
  • Подписывайтесь на мой канал YouTube.
  • Следите за моими проектами в LinkedIn
  • Изучайте ИИ вместе, присоединяйтесь к нашему сообществу Discord, делитесь своими проектами, статьями, лучшими курсами, находите товарищей по команде Kaggle и многое другое!