Нейросеть научилась создавать реалистичные 3D-модели по одиночным фотографиям

Исследователи из Университета Южной Калифорнии разработали методику создания трехмерных изображений по обычным фотографиям. Примечательно, что для получения объемных моделей достаточно всего одного снимка.Трехмерные изображения генерируются глубокой нейросетью VGG-19, распознающей общую форму, создающей карту базового цвета, а затем подбирающей реалистичные текстуры по имеющейся базе данных с изображениями лиц людей разного пола, возраста и этнической принадлежности. Ученые провели два эксперимента по определению эффективности нового метода, получив довольно забавные результаты. В первом эксперименте добровольцам предлагали оценить маски, левая половина которых в точности повторяла реальный облик моделей, а правая была либо реальной, либо сгенерированной нейросетью. Во втором же испытании участникам предлагалось выбрать наиболее реалистичные маски в наборах из трех образцов, созданных нейросетью, 3D-сканированием по технологии структурированной подсветки и сгенерированных по вероятностным моделям с использованием метода главных компонент. Как оказалось, детализированные структуры, созданные нейросетью, оказались даже чересчур реалистичными и зачастую вводили волонтеров в заблуждение излишними морщинками или даже случайно проставленными родинками.Очевидно, что метод пока еще далек от совершенства, однако вполне может найти применение в персонализации аватаров в компьютерных играх и приложениях виртуальной реальности, а возможно и 3D-печати кастомизированных фигурок. Подробный доклад исследовательской команды можно найти по этой ссылке.А у вас есть интересные новости? Поделитесь с нами своими разработками, и мы расскажем о них всему миру! Ждем ваши идеи по адресу news@3Dtoday.ru.