Нейросети и 3D-принтеры помогают создавать точные репродукции картин

Американские ученые работают над системой RePaint, позволяющей создавать более точные репродукции картин с помощью нейросети и 3D-принтера. Проблема только в том, что пока копии получаются очень маленькими. Рассказываем, как это работает.Над проектом работает команда Лаборатории информатики и искусственного интеллекта (CSAIL) при Массачусетском технологическом институте (MIT). Нет, зарабатывать продажей поддельных шедевров изобразительного искусства ученые не собираются, хотя ноги проекта растут именно оттуда. Вдохновением для исследования стали пустые рамы на стенах бостонского Музея Изабеллы Стюарт Гарднер: в 1990 году неизвестные похитили из знаменитой частной галереи тринадцать шедевров, включая три полотна кисти Рембрандта, а также картины за авторством Мане, Флинка и Дега. Ни преступники, ни произведения искусства так и не были найдены.

Остались лишь фотографии, а типографические копии, конечно же, даже близко не стоят с оригиналами. Отсюда и идея создания системы, способной анализировать картины и, в случае необходимости, создавать точные репродукции. В последнее время владельцы шедевров все чаще предпочитают хранить свои сокровища за семью замками, а не на всеобщем обозрении, и их можно понять, но было бы неплохо, если бы общественность могла хотя бы полюбоваться реалистичными копиями. К тому же, можно неплохо заработать на сувенирах.

В качестве производственной методики исследователи выбрали струйную цветную 3D-печать фотополимерными смолами. Почему не обычный типографический принтер? Дело в том, что типографическая четырехцветная автотипия не может в точности передавать оттенки оригиналов, что отчасти объясняется использованием полутонов в живописи тех же импрессионистов. Вместо физического смешивания красок художники зачастую полагались и полагаются на оптическую иллюзию, нанося небольшие, неразличимые с удаления точечные мазки базовыми цветами, сливающимися в глазах зрителей в необходимые оттенки. Например, расположенные рядом мазки белой и красной краски дают эффект розового цвета. «Если просто воспроизвести цвет краски на картине так, как он выглядит в галерее, то у себя дома вы можете получить уже другой результат. Наша система работает при любом освещении и куда точнее воспроизводит тона, чем любые предыдущие проекты», – утверждают сотрудники лаборатории CSAIL.

Нейросеть в составе системы RePaint не только анализирует исходные изображения с учетом освещения, но и рассчитывает оптимальный алгоритм нанесения цветных капель фотополимерных смол для получения требуемых тонов. 3D-принтер печатает сразу десятью вариантами полупрозрачного фотополимера разных цветов и делает это точечно и послойно, что помогает воспроизводить полный спектр оттенков, характерных для картин того же Дега или Дали. Первые эксперименты команда провела с использованием оригинальных картин знакомого художника, согласившегося подключиться к исследованию.

Результаты пока еще трудно назвать идеальными, хотя исследователям уже удалось добиться в четыре раза более точной передачи оттенков, чем у существующих методик. Остается и проблема масштабирования: по размеру реплики сравнимы с визитными карточками, но сложность здесь не столько в способности нейросети анализировать полотна и составлять алгоритмы, сколько в ограничениях самого 3D-принтера. Команда уверена, что с помощью более крупноформатных и точных аддитивных установок можно будет создавать и полноразмерные репродукции высокого качества. Подробная презентация проекта состоится на конференции SIGGRAPH Asia 2018. А у вас есть интересные новости? Поделитесь с нами своими разработками, и мы расскажем о них всему миру! Ждем ваши идеи по адресу news@3Dtoday.ru.