Одиннадцатиклассник из Подмосковья создал робота для изучения языка жестов

Ученик одиннадцатого класса Виталий Симонов из школы Nº13 в Электростали разработал устройство для обучения жестовому языку в игровой форме. Робот «Дактик» в 3D-печатном корпусе распознает жесты с помощью технологий компьютерного зрения и искусственного интеллекта.

«Я ехал в автобусе и увидел, как слабослышащий мужчина пытался что-то объяснить другим людям. Его никто не понимал. Я заинтересовался, решил изучить подробнее эту тему и в итоге разработал проект. Всем ребятам, кто так же сильно, как и я, увлечен разработками, советую никогда сдаваться, все время пробовать что-то новое и искать альтернативные способы решения проблем», — рассказал воспитанник центра развития творчества детей и юношества «Диалог» Виталий Симонов.

У «Дактика» три режима работы. В зависимости от выбранного режима система предлагает пользователю показать на жестовом языке букву, слово или целую фразу. Робот считывает положение пальцев кисти руки и показывает корректность ответа. Устройство не требует постоянного подключения к интернету, а дизайн в виде панды и геймификация помогают делать обучение более интерактивным и увлекательным, сообщает пресс-служба Министерства образования Московской области.

Работа над проектом велась в центре «Диалог» под руководством преподавателя программирования и робототехники Сергея Симонова. Школьник самостоятельно провел исследование, разработал конструкцию, программное обеспечение и обучил нейронную сеть. Корпус робота распечатан на 3D-принтере, а нейросеть обучалась на основе фотографий — по пять фото руки на каждую букву. Чтобы система компьютерного зрения могла фиксировать положение пальцев, разработана нейронная сеть: корректность жеста отслеживается по двадцати одной точке, равномерно расположенной на кисти руки. Координаты точек поступают в математическую модель, самостоятельно разработанную Виталием Симоновым: она векторизует данные и позволяет системе распознавать показываемые пользователем буквы.

«На мой взгляд, самая главная роль педагога — показать ребенку, куда он должен прийти, а дальше он сам начинает работать, искать пути, решения. Работа с роботами у нас в кружке начинается с пятого-шестого класса. Я ставлю ребятам задачи, которые их роботы должны выполнить. Если что-то не получается, то я подсказываю, направляю. С учениками повзрослее мы уже переходим к изучению электроники, чтобы они могли разрабатывать более сложные проекты и гаджеты», — рассказал преподаватель центра развития творчества детей и юношества «Диалог» Сергей Симонов.

Робот «Дактик» апробирован и получил положительные отзывы от педагогов и воспитанников школы-интерната для детей с ограниченными возможностями здоровья Nº1 в Электростали.

А у вас есть интересные новости? Поделитесь с нами своими разработками, и мы расскажем о них всему миру! Ждем ваши идеи по адресу news@3Dtoday.ru.