NVIDIA предоставила сообществу машинного обучения множество заслуживающих внимания результатов исследований - StyleGAN, преобразование видео в видео, WaveGlow и многое другое - и американский чип-гигант не показывает никаких признаков замедления темпов роста.

На стартовавшей сегодня конференции NVIDIA GPU Technology Conference (GTC) NVIDIA представила свое последнее исследование в области обработки изображений - GauGAN, генеративную состязательную сетевую технику, способную преобразовывать карты сегментации в реалистичные фотографии. The GauGAN Исследовательская статья была принята CVPR 2019 в качестве устной сессии.

В демонстрации GTC этим утром исследователь NVIDIA Мин-Сюань Ян продемонстрировал, как работает технология: когда Ян использовал облачную кисть для рисования на холсте карты сегментации, модель генерировала реалистичные облачные узоры в соответствующей позиции выходного изображения. . Сгенерированный контент отображается в стиле, соответствующем остальной части сцены. Нажмите здесь, чтобы просмотреть демонстрационное видео.

GauGAN улучшает pix2pixHD, исследовательский документ NVIDIA, принятый на CVPR 2018, который включает в себя генератор грубого и точного преобразования, многомасштабные дискриминаторы и улучшенные потери от состязательных данных. В новой модели меньше параметров и больше возможностей для создания изображений. Он был обучен на одном миллионе изображений, собранных NVIDIA с Flickr.

«Намного проще придумать дизайн с помощью простых набросков, и эта технология позволяет преобразовывать эскизы в очень реалистичные изображения», - сказал вице-президент NVIDIA по прикладным исследованиям глубокого обучения Брайан Катандзаро.

Катандзаро объяснил, что нововведением статьи является «пространственная адаптивная нормализация», метод, который представляет визуальную информацию пространственно однородным образом и с более естественными отношениями между композиционными элементами.

Модель позволяет пользователям изменять сгенерированное изображение, чтобы адаптировать стиль конкретного художника, или изменить дневную сцену на закат и т. Д.

Демонстрируемый эффект аналогичен GANpaint, бумажному Synced, о котором в ноябре прошлого года сообщила группа высокопоставленных исследователей из Массачусетского технологического института, IBM, Google и Китайского университета Гонконга. GANpaint позволяет любому рисовать невероятно сложные и детализированные фотореалистичные сцены. Ян объяснил, что эти две статьи были предложены примерно в одно время, но используют разные методы и предназначены для использования в разных сценариях.

Хотя GauGAN по-прежнему является доказательством правильности концепции, этот метод имеет потенциальное применение в играх, создании фильмов и во многих других областях визуального представления и редактирования. Например, игровые дизайнеры могут использовать эту технологию для более быстрого и эффективного рендеринга более реалистичной моделируемой среды.

В настоящее время у NVIDIA 175 штатных исследователей по всему миру, которые сосредоточены как на стороне предложения (разработка графических карт), так и на стороне спроса, особенно на исследованиях искусственного интеллекта, которые стимулируют спрос на видеокарты NVIDIA. В 2018 году NVIDIA выпустила 104 публикации, 51 патентную заявку и 12 пакетов программного обеспечения с открытым исходным кодом.

NVIDIA также представила игровую площадку для искусственного интеллекта, которая позволяет пользователям тестировать и играть с демонстрациями передовых моделей глубокого обучения NVIDIA.

Подробнее читайте в статье Синтез семантических изображений с пространственно-адаптивной нормализацией.

Журналист: Тони Пэн | Редактор: Майкл Саразен

Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.

Подпишитесь на нас в Twitter @Synced_Global, чтобы получать ежедневные новости об ИИ!

Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.