Новости

Преподаватели - победители Конкурса

Предлагаем познакомиться с одним из двух победителей Конкурса среди преподавателей - Константином Владимировичем Розовым (Новосибирск, НГПУ) и его учебным кейсом "Разработка игры-тренажера с системой управления на основе компьютерного зрения для реабилитации лиц с нарушениями подвижности".


Кратко о проекте

В области нейрореабилитации сегодня активно применяются игры, включающие в себя задания следующих видов: повтори движения, поймай падающий предмет, уклонись от препятствия, - стимулируя таким образом мозговую активность для восстановления нейронных связей поврежденных участков головного мозга. Именно на разработку такой игры направлен конкурсный кейс. Суть игры: управляя кругом, провести его через лабиринт до флага, не касаясь стен. Главной особенностью приложения является управление – для перемещения круга в игре необходимо перемещать некоторый выделенный объект напротив подключенной к компьютеру веб-камеры. Таким объектом может быть часть тела человека или произвольный предмет в руке.



Расскажите, пожалуйста, историю своей конкурсной работы: от идеи до проекта (с чего все началось и как развивалось).

Основная тема моей педагогической деятельности как преподавателя информатики — обучение программированию через разработку видеоигр. Я сам когда-то прошел этот путь и сейчас он доказывает свою состоятельность. В преподавание технологий ИИ мне тоже хотелось внести игровой элемент — задание по разработке игры с использованием искусственного интеллекта. Первое, что пришло в голову — использование ИИ для управления главным героем. Это могло бы быть голосовое управление (распознавание речи) или управление жестами (компьютерное зрение). Я заинтересовался существующими подобными проектами и однажды нашел информацию о системе Planty Go. Тогда я подумал, что было бы интересно реализовать нечто подобное, но без использования  специального оборудования, чтобы было достаточно обычной веб-камеры. У меня был опыт работы с трекером библиотеки Dlib, его я и взял за основу. Библиотеку PyGame выбрал для возможности графического расширения игры в будущем. 

Основной проблемой, с которой я столкнулся при разработке, была проблема проверки столкновения главного персонажа с препятствиями. Было задумано сразу, что уровни для игры может создать любой человек с использованием обычного растрового графического редактора, соответственно, препятствия могут оказаться произвольной формы. Думаю, что данную проблему я решил, хоть и не идеально. В любом случае, всегда есть, к чему стремиться.


Вы работаете над проектом один или у Вас есть помощники, например, в отборе упражнений? Кого из профессионалов Вы бы пригласили?

Над проектом я работаю один. Из профессионалов я бы привлек специалиста в области нейрореабилитации. Человека, имеющего опыт работы с людьми с нарушениями двигательных функций. Такой специалист мог бы помочь разработать комплекс реально полезных базовых упражнений, которые будут вариативным приложением. Возможно, он мог бы дать какие-то советы по дополнению функциональности самого приложения. Вообще, проект рассчитан на то, что его потенциальные пользователи — как раз специалисты в области нейрореабилитации, смогут самостоятельно разрабатывать упражнения (уровни игры) без необходимости разбираться в программном коде приложения, соответственно, без моего участия. Но опыт создания полезных упражнений был бы полезен для меня.


Есть ли уже реализованные проекты в этом направлении в мире? Что на Вас произвело впечатление?  

Сама идея проекта не является абсолютно новой. Реабилитационные игры-тренажеры, основанные на погружении человека в виртуальную реальность, успешно применяются с начала 2000-х годов, а первые попытки моделирования взаимодействия человека с виртуальными предметами в восстановительной медицине известны еще с 60-х годов XX века. В качестве примеров реализованных проектов в мире могу привести канадскую систему Gesturetek Health IREX и отечественную систему Planty Go. Именно эти игровые тренажеры вдохновили меня на создание собственного подобного проекта. Саму идею управления персонажем видеоигры без использования специальных игровых контроллеров я нахожу крайне привлекательной. А если такие технологии будут не только интересными, но и полезными, а также доступными массовому пользователю, то это будет действительно IT-прорыв.


Машинное обучение, компьютерное зрение, распознавание и синтез речи, игровой искусственный интеллект - какие из этих направлений больше всего интересуют студентов и школьников? Ребята выступают больше как понимающие процессы потребители или дотошные созидатели?

Лично мой опыт как преподавателя показывает, что при знакомстве с технологиями ИИ студентов и школьников интересует прежде всего компьютерное зрение, а второе место я бы отдал распознаванию и синтезу речи. Это те когнитивные функции, наличие которых у искусственной «интеллектуальной» системы мы ожидаем в первую очередь. Компьютерное зрение и понимание речи приближают машину к живому существу. При этом повышенный интерес к компьютерному зрению, на мой взгляд, тесно связан с особенностью восприятия информации человеком. Известно, что большую часть информации здоровый человек получает именно с помощью зрения, поэтому нам интересно, как видит «интеллектуальная» машина. Это подкрепляется разнообразием библиотек компьютерного зрения, позволяющих сравнительно просто и быстро создавать зрелищные и функциональные проекты без знания сложных математических методов.
А ребята начинают с позиции «понимающих процессы потребителей» и либо остаются на ней, либо постепенно становятся «дотошными созидателями». Все-таки изучение технологий ИИ за пределами их бытового использования предполагает некоторую базу: освоение программирования, которое не всем легко дается, изучение математических методов, которые особенно важны в машинном обучении и анализе данных, но которые также могут являться своеобразной проблемой. Конечно, если набирается группа заинтересованных школьников или работа ведется в профильной группе студентов, то интерес к изучению и необходимая база, как правило, значительно выше. Но начинают все достаточно робко, так как никто не понимает, чего ждать от изучения новой и явно не самой простой темы — технологии ИИ, несмотря на то, что этими технологиями в современном мире так или иначе пользуются практически все.


Как преподаватель, чему бы Вы хотели научить современных детей больше всего? 

​​​​​​​Внимательности — это то, чего сейчас многим детям не хватает. Дети часто упускают детали даже в кратких формулировках заданий. Также сейчас особенно полезно уметь «фильтровать» информацию и быстро находить ответы на возникающие вопросы в сети, в том числе на иностранных сайтах и форумах. Хотелось бы научить детей не пугаться ошибок, а проявлять самостоятельность в поиске возможных решений по их устранению.

Благодарим Константина Владимировича за интересный разговор и желаем новых побед и успехов.