Новости

Увидим для вас

Центр компетенций обучающих программ Intel - ФГБОУ ВО “Новосибирский государственный педагогический университет” - представил на конкурс творческих проектов программы Intel® AI for Youth “Технологии искусственного интеллекта для каждого” несколько работ во всех возрастных группах. Одними из победителей стала команда студентов-третьекурсников: Гончаров Иван, Гордиенко Петр, Казачанская Марина с проектом “Мобильное приложение BusNumberApp: озвучивание номеров автобусов для слабовидящих”. Это приложение должно помочь слабовидящим пассажирам узнать номер подходящего автобуса, троллейбуса, трамвая или маршрутного такси с помощью технологий компьютерного зрения и голосового синтезатора. Сегодня Иван, Петр и Марина - гости нашего портала.

Начнем по порядку. Это не первый ваш продукт. Как и когда сложилась ваша команда? Что послужило причиной работать вместе в области компьютерного зрения? 

Петр: - Что послужило причиной работать вместе? Просто хорошая дружба. Да и то, что мы были оба начинающими программистами. Иван увлекался нейросетями, я - звуком и разработкой интерфейсов. Когда наш учитель информатики, Борис Александрович Шрайнер  (сейчас он руководитель лаборатории ИИ НГПУ), позвал нас создать проект, мы согласились. С этого всё и началось.

Сначала это был маленький проект, позволяющий сделать что-то полезное для людей. С ним мы участвовали в школьных научно-практических конференциях. Мы с Иваном работали тогда над голосовым ассистентом “Апельсин”, распознающим всё и вся. Это была “демка” на ноутбуке в связке с камерой на телефоне. Иван отвечал за обучение сетей и их работу, я занимался озвучкой, базовой логикой и управлением, Борис Александрович руководил всем этим. Тогда я писал на C# (C Sharp) а Иван на Python. Получилось интересно. Потом мы немного продвинулись и смогли сделать полностью автономную версию приложения под Android*, изучив, буквально за 2 недели, Java. Приложение получилось слишком громоздким и мы решили сузить задачу, но выполнить её в максимально простом и понятном виде. 

В конкурсном проекте в вашей устоявшейся команде новый участник
- Марина. Ваши впечатления от совместной работы?

Иван: - Мы втроём знакомы ещё со школы. С Петром активно начали работать еще в школе, а Марина, как студентка и будущий учитель математики и информатики, хорошо вписалась в наш коллектив именно сейчас, оказывая поддержку в разметке данных, написании текстов, оформлению проекта и прочих делах, на которые у нас не хватало времени. Без неё наш проект не был бы готов так быстро.

Перед разработкой вы анализировали рынок похожих решений? Что было взято за основу? 

Петр: - На рынке Android-приложений уже довольно много вариантов помощников, работающих с нейросетями. Основная их проблема — это неавтономность, зависимость от интернета. Наше приложение по данному аспекту уникальное, так как работает полностью на устройстве пользователя.

Иван: - В плане нейросетей за основу были взяты открытые GitHub репозитории такие, как YOLO (нейросеть для определения объектов), а также популярная библиотека TensorFlow. Для движка самого приложения и работы с компьютерным зрением - OpenCV. 

Нашим вдохновением для BusNumberApp были принципы минималистического дизайна, где пользователю предоставлена максимальная низкая “learning curve” (дуга обучения), чтобы начать пользоваться приложением. Это очень важно в контексте слабовидящего сообщества в особенности. 

Да, конечно, мы исследовали рынок других приложений для слабовидящих. В основном в них использованы более простые алгоритмы машинного обучения. 

Вы взяли проблему помощи слабовидящим людям. Есть ли у вас статистика по Новосибирску? Насколько трудозатраты на создание приложения будут оправданы и востребованы? 

Петр: - Мы ориентировались на сообщества слабовидящих, общались с такими людьми. О большой востребованности или коммерческом использовании здесь речи не идет. Это приложение нишевое, имеет узконаправленное применение. Многие слабовидящие спокойно справляются и без помощников. Но определённо есть люди, которым наше приложение оказалось полезным. Об этом говорят отзывы на страницах приложений и фидбэки по почте.

Датасет был размечен с помощью инструмента аннотирования CVAT OpenVino от Intel. Ваши впечатления от работы с OpenVino? 

Иван: - Нам понравилось работать с CVAT, в особенности порадовал большой функционал и поддержка лэйблинга для разных задач в компьютерном зрении. До этого пользовались небольшими Python-программами.  Разметкой в основном занималась Марина, она довольна этим инструментом.

В чем dы уже чувствуете себя спецами, а чему хотели бы еще поучиться? 

Иван: - Я бы сказал, что чувствую себя относительным спецом в задачах, с которыми я работаю в компьютерном зрении. Хотелось бы улучшить компетенции в NLP, чтобы находить решения для более сложных проблем. 

Марина: - Я считаю, что всегда есть к чему стремится и чему можно научится, поэтому стараюсь узнавать все больше и больше, ведь тема ИИ  достаточно обширная и очень интересная. Как раз, когда мы активно работали над проектом, у нас в НГПУ шел предмет “Технологии искусственного интеллекта”, который вел Борис Александрович. Это способствовало большему пониманию, что именно мы делаем с нашим проектом и как это работает.

Петр: - Спецом я себя считаю в области разработки игр. Не могу сказать, что я сильно понимаю и хочу изучать нейросети, да и машинное обучение в целом. Мне больше нравится проектировать сложные системы, писать алгоритмы для решения нетривиальных задач и заниматься оптимизацией. Особенно меня увлекает компьютерная графика. Очень неплохо изучил библиотеку OpenGL 3.X. Благодаря университету, немного разбираюсь в “вебе”.

Какими ресурсами и интернет-изданиями вы пользуетесь для саморазвития?

Иван: - Очень много хорошего контента есть на YouTube, также в блогах передовых ИИ-лабораторий: OpenAI, DeepMind или компаний, например, Weights & Biases.  

Петр: - Хабр, StackOverflow, YouTube и прочие форумы. Всю необходимую теорию можно найти в интернете и в документации.
Что бы вам было интереснее: продолжить работу над развитием начатого или попробовать реализовать что-то другое? 
Петр: - На самом деле, работать над проектом с маленьким охватом аудитории тяжело. Мало обратной связи, мало мотивации. Постоянно преследует чувство, что всё делается впустую. Я считаю чудом, что мы смогли сделать то, что сделали. Не знаю, сможем ли мы такое повторить. Да и работать мне хочется немного в другой сфере.

Иван: - BusNumberApp - это начало и отличный опыт разработки, но всегда нужно пробовать что-то новое и развиваться. 

Марина: - Я бы предпочла начать делать что-то новое, ведь к старому всегда можно будет вернуться. 

По какой специальности вы учитесь? Как вы хотели бы продолжить свою профессиональную карьеру?

Иван: - Я учусь по технической специальности. Хотел бы продолжить свою карьеру там, где моя работа может иметь наибольшую отдачу. С нынешним трендом на работу удалённо можно вполне себе представить возможность работать из самых разных технологических хабов по всему миру. 

Марина: - Я сейчас учусь на преподавателя математики и информатики. Очень люблю детей и в дальнейшем хотела бы работать по специальности в школе. Опыт проектной работы для меня очень важен.

Петр: - Я учусь на программиста. Мы пробуем себя в разных IT областях. От веба до Ассемблера. Мне хочется уйти в разработку игр, но сейчас приходится заниматься стартаперской деятельностью, ибо на GameDev студентов не берут. 

В своем проекте вы говорите: доверяйте своей интуиции и чувствам, а ИИ просто может помочь в принятии решения. В какой области вы сами готовы более «расслабленно довериться» ИИ, а где еще долго будете доверять только людям определенной квалификации?

Иван: - Отличный вопрос. Я думаю, что работа над понимаем ИИ - это очень важная работа. Тренируя нейросети, мы не знаем, почему они работает так, как они работают. Очень важно улучшать технологии выявления проблем в данных или в их тренировке. Думаю, я готов «расслабленно довериться» ИИ во всех сферах, которые не несут напрямую угрозу моему здоровью или финансам. Например, я думаю, большинство людей не задумываются, как их рекомендации попадают в их социальные сети. В таких ситуациях какой-то урон может произойти со временем.

Петр: - Я даже не сомневаюсь, что лет через пять ИИ будет везде. Доверять ему можно решение разных задач, тут без проблем. Исключение составляют только моральные дилеммы, всё, что связано с эмоциями человека. 

Марина: - Этические вопросы ИИ очень важны, но думаю, что этот вопрос будет тщательно контролироваться государством. Пока что я фактически доверю ИИ всюду, где он взаимодействует со мной.

Новых интересных и победных решений вам! Спасибо большое за интересный разговор.