Hello, World

Как и многие, я тоже начал экспериментировать с нейронными сетями.

В апреле был запущен проект нейронной сети Шедеврум (shedevrum.ai) от компании Яндекс, и я решил воспользоваться возможностью стать одним из её первых бета-тестеров. Заманчивая надпись на сайте гласила: «Напишите что угодно на русском языке – и нейросеть Яндекса создаст картинку или текст по вашему описанию».

Будучи специалистом в области аддитивных технологий, у меня почти сразу возникла идея – научить нейросеть генерировать изображения на тематику 3D-печати. На просторах всемирной паутины не всегда можно отыскать нужные изображения для иллюстрации различных примеров 3D-печати.

Казалось бы, что может быть проще?

В начале было слово

Конечно, сложно было ожидать чудес от работы в версии beta 0.1.4. Однако результаты одного из моих первых экспериментов показались многообещающими.

Первое изображение, которое было сгенерировано по запросу «3D-принтер печатает деталь, высокая степень детализации»

Воодушевленный тем, что нейросеть прекрасно поняла смысл моих слов, я продолжил думать над более сложными запросами. Мне хотелось, чтобы алгоритм научился понимать не только общий контекст, но и решать более сложные задачи. Например, генерировать изображения 3D-принтеров в зависимости от технологии (FDM, SLA, SLS, и др.), кинематики (H-Bot, CoreXY, Polar, и др.) и других особенностей, или создавать изображения, на которых показан процесс 3D-печати деталей различной формы.

Последующие эксперименты показали, что нейросеть не понимает многие термины и определения, свойственные для тематики 3D-печати. Например, в отличие от человека, погруженного в предметную область, нейросеть не поняла, как именно ей нужно изобразить пятиосевой робот-манипулятор (пять осей увидеть можно, но это не оси степеней свободы). В другом примере - как именно ей нужно изобразить сложную печатающую головку 3D-принтера.

Изображение, которое было сгенерировано по запросу «Строительный 3D-принтер в виде пятиосевого робота-манипулятора печатает стену из цемента»

Изображение, которое было сгенерировано по запросу «Печатающая головка 3D-принтера для 3D-печати пятью разными материалами»

Вывод: если не понимает, значит надо установить правила и задать логику!

Формула

Далее я предположил, что последующие запросы должны быть составлены так, чтобы это напоминало формулу изобретения. Каждый запрос должен выражать не только сущность объекта, но и описывать его признаки, в том числе состав и расположение составных частей относительно друг друга.

Для чистоты эксперимента, я решил проверить свою гипотезу на примерах, относящихся к 3D-печати методами SLA и FDM. И знаете…это сработало!

Ниже представлены примеры генерации изображений по запросам, составленным наподобие формул. Как видно из этих примеров, нейросеть не всегда учитывает все признаки, представленные в формулах, а также путает некоторые геометрические фигуры (икосаэдр с додекаэдром).

Изображение, которое было сгенерировано по запросу «Над ванночкой с жидкостью расположена платформа, которая выполнена с возможностью вертикального перемещения над ванночкой, деталь закреплена снизу на платформе и расположена так, что платформа как бы вытягивает деталь из жидкости. Деталь в форме сферы»

Изображение, которое было сгенерировано по запросу «Поршень выполнен с возможностью вертикального перемещения и вытягивает из ванночки с жидкостью объект, объект удерживается на поршне снизу и контактирует с поверхностью жидкости, при этом в области под ванночкой и жидкостью расположен источник света, а свет от источника направлен вертикально вверх на поверхность контакта жидкости с объектом»

Изображение, которое было сгенерировано по запросу «Печатающая головка 3D-принтера создает деталь в форме икосаэдра на платформе построения путем послойного наплавления расплавленной тонкой пластиковой нити, при этом тонкая пластиковая нить поступает в экструдер печатающей головки сверху, а затем вытекает из экструдера снизу на верхний слой создаваемой детали, деталь урезана сверху на 30% по высоте детали»

Продолжение следует

Идея написать эту короткую заметку на 3DToday родилась по просьбе одного из подписчиков моего Telegram-канала о науке и технологиях.

Пишите в комментариях, интересен ли вам вопрос использования нейросетей при создании изображений на тему 3D-печати, и стоит ли писать следующие статьи на эту тему.