Blind Camera: слепой фотоаппарат полагается на слух

Еще одна камера «без глаз», но на этот раз с «ушами»: проект мексиканского мейкера Диего Трухийо Писанти сочетает микрокомпьютер Raspberry Pi, рупор и искусственный интеллект в 3D-печатном корпусе, выстраивая изображения по звукам окружающего мира.

Объектива у этого фотоаппарата нет, зато есть уши в виде рупора и микрофона, с помощью которых камера распознает происходящее. За распознавание отвечает «искусственная нейросеть», как ее называет автор — кастомный искусственный интеллект, обученный на заранее сделанных роликах и сочетающий особенности автокодировщиков и генеративно-состязательных сетей. Искусственный интеллект написан на языке Python 3 и работает на Raspberry Pi с использованием библиотеки машинного обучения TensorFlow Lite.

В процессе обучения ролики разбивались на отдельные кадры с привязкой к звукам с предыдущих секунд аудиосопровождения. Отсюда же следует одно из главных ограничений системы: так как нейросеть тренировалась исключительно на видеороликах, сделанных автором в родном городе Мехико, все получаемые изображения так или иначе основываются на образах мексиканской столицы. Другого мира нейросеть пока просто не знает.

О проекте еще одного «слепого фотоаппарата» мы рассказывали на днях. Paragraphica — это камера, формирующая изображения по контекстным подсказкам. В роли последних выступают расположение, время суток, погода и местные достопримечательности, а дальше в дело вступает искусственный интеллект, составляющий необходимую картинку по текстовому описанию.

Подробнее о проекте Blind Camera можно узнать на сайте разработчика.

А у вас есть интересные новости? Поделитесь с нами своими разработками, и мы расскажем о них всему миру! Ждем ваши идеи по адресу news@3Dtoday.ru.