От мода для Minecraft до программы для очистки ЭЭГ: как школьники создают проекты в сфере нейротехнологий
Новая культура здоровья
Все проекты в этом треке были связаны с ментальным здоровьем человека. Одна команда школьников делала приложение для умного сна, другая разрабатывала приложение-планировщик для людей с СДВГ (синдромом дефицита внимания и гиперактивностью), третья занималась сайтом, который поможет курильщикам бросить вредную привычку и предложит интересные места для посещения, когнитивные фильмы, книги и игры.
Команда в составе Анастасии Юсовой (Санкт-Петербург), Георгия Вальгера (Новосибирск), Елизаветы Мусиной (Екатеринбург), Данилы Ильина и Кирилла и Игоря Васильевых (все трое – Великий Новгород) работала над проектом PsyPlan. Школьники решили помочь психиатрам и психотерапевтам более эффективно контактировать с пациентами. Они сделали MVP мобильного приложения с трекерами приема лекарств, настроения, физического состояния и чатом со специалистом. Человек, находящийся на амбулаторном лечении и приходящий в клинику лишь раз месяц, делает отметки в трекерах, а врач может посмотреть в базе все данные (они регулярно сохраняются ). Получается стабильная связь пациента с врачом и более эффективное лечение.
– Нам было очень интересно общаться с целевой аудиторией, с наставниками – все эти люди внесли в наш проект серьёзные и важные вещи, – признается Анастасия Юсова. – Классно, что все собрались вместе: заинтересованные мы и так много знающие наставники. А на защите эксперты нам дали много дельных подсказок: например, посоветовали сфокусироваться на чём-то одном:сделать либо приложение для психиатров и оставить там дневники физического состояния и приема лекарств, либо приложение для психологов и психотерапевтов с дневником психотерапии.
Нейроинтерфейсы
В этом треке участники разрабатывали пять разных проектов: экранную клавиатуру на основе айтрекера (кнопки нажимаются движениями глаз), браслеты для пациентов, оповещающие о критическом изменении состояния, а также измеряли вовлеченность малых групп с помощью ЭЭГ (электроэнцефалограммы).
Презентация работы проекта Beat Pulse
Одна из команд – Павел Колесников (Свердловская область, Богданович), Мария Нелаева (Свердловская область, Березовский), Денис Черных (Екатеринбург), Александр Кувалдин (Тюменская область, Тобольск) и Ульяна Реутова (Свердловская область, Артемовский) – сделала парные браслеты с функцией имитации пульса второго человека. Проект назвали Beat Pulse.
– Проблема простая, но важная для многих: нехватка тактильного контакта. На смене было много новых людей, наши близкие и родные были далеко, и многим участникам, как показал опрос, просто не хватало банальных обнимашек, – рассказывает Павел Колесников. – Вообще тактильный контакт – это одно из проявлений социальной потребности человека. Когда человек эту потребность закрывает, в кровь выбрасывается множество гормонов и нейромедиаторов – серотонин, окситоцин, дофамин. Они улучшают настроение, сон и концентрацию.
Парные браслеты, созданные командой, позволяют буквально почувствовать сердцебиение другого человека. Достигается это благодаря правдоподобной тактильной эмуляции сердцебиения прямо в предплечье руки. Если носитель парного браслета волнуется или занимается спортом, то его сердцебиение учащается и это также отражается на тактильной отдаче браслета. Самым сложным, по словам школьников, было расположить все компоненты максимально компактно, чтобы по размерам получился именно браслет. Итоговый прототип получился на несколько миллиметров толще заводских наручных часов.
Другая команда работала над прототипом системы для автоматизированной предобработки результатов ЭЭГ/ЭКГ с помощью нейронных сетей. Николай Кожемякин (Московская обл, Красногорск), Вероника Алексеенко-Недышилова (Екатеринбург), Алена Савушкина (Новосибирск) и Варвара Лаптева (Екатеринбург) придумали эту идею во время мастер-класса по записи ЭЭГ-сигнала. Им рассказали, насколько сложно обрабатывать сигнал и очищать его от шумов, и ребята задумались об автоматизации данного процесса с помощью веб-сервиса.
– Мы разработали две нейронные сети – рекуррентную и сверточную, чтобы сравнить их результаты и выбрать ту, что лучше справится с поставленной задачей, – говорит Вероника Алексеенко-Недышилова. – Самым сложным было найти датасеты ЭЭГ-записей, чтобы обучить нейросети. В итоге у нас получился веб-сервис, позволяющий очистить запись, нарисовать карту электродов и разделить запись на ритмы электронной активности мозга. Также мы сделали удобный конвертер, меняющий формат файла с ЭЭГ-записью.
Моды для игр на основе биологической обратной связи
Биологическая обратная связь – это технология, позволяющая использовать различные биологические показатели человека (пульс, напряжение, стресс) в мультимедийных, игровых и других процессах. Эту технологию как раз и применяли на одноименном треке проектной школы NeuroCamp. Одна из команд создавала хоррор с айтрекером и пульсометром, другие группы работали над модами для Minecraft: один мод превратил игру в средневековое фэнтези (с использованием айтрекера и миограммы), во втором пользователь спасает мир, решая задачи на концентрацию/расслабление и управляя персонажем с помощью глаз.
Одна из команд сделала проект Relaxis – это тоже мод для игры Minecraft. Алиса Шебалина, Арина Миронова, Ярослав Богданов, Владимир Гречухин и Дмитрий Истомин (все – Екатеринбург) хотели сделать мод с сюжетом, вокруг которого строятся четыре мини-игры. Для разработки школьники использовали Neuroplay (энцефалограф, позволяющий записывать ЭЭГ с медицинской точностью и работающий по Bluetooth). Герой получившейся игры попадает в волшебный мир, проходит разные испытания на концентрацию и расслабление (в этом как раз помогает Neuroplay) и в зависимости от результатов выполнения этих заданий находит то, что искал. У команды получился мод для игры с разными концовками.
– Наши геймдизайнеры с нуля сделали карту в Minecraft, с помощью командных блоков автоматизировали многие процессы, например, перемещение по уровням, – рассказывает о ходе работы над проектом Алиса Шебалина. – В это время программист с помощью различных библиотек Python'а подключил Neuroplay к карте. Я как нейробиолог замеряла показатели концентрации и считала различные пороги для игровых изменений, а наша сценаристка разработала сюжет, диалоги и в целом концепцию мода.
Ребята сделали сайт для своего мода и разместили там демо-версию игры. Проект понравился экспертам на защите, и компания-разработчик Neuroplay разместит на своих ресурсах информацию о нем и ссылку на сайт, сделанный участниками.
Когнитивные исследования
Один из треков на NeuroCamp был теоретическим – участники в нем проводили различные эксперименты. Кто-то проверял, как уровень эмоционального интеллекта помогает понимать и распознавать чужие эмоции, кто-то оценивал, как скроллинг ленты в соцсетях влияет на внимательность у подростков, кто-то искал общие паттерны у людей при девиантном поведении.
Одна из команд сравнивала процессы запоминания у глухих и слабослышащих, освоивших жестовый язык в раннем детстве, и слышащих взрослых. Дарья Михайлова (Новосибирск) и Арина Климова (Екатеринбург) вдохновились книгой Оливера Сакса «Зримые голоса» (автор изучал специфику жестового языка и мира, с которым этот язык связан) и еще несколькими произведениями. Участницы исследовали, как на уровне запоминания отражается способ, с помощью которого эта информация преподносилась, сравнивали, как запоминаются слова и жесты. Девочки сами искали испытуемых, планировали эксперименты, записывали видео на жестовом языке, аудио и т.д.
– У нас было две группы: глухие/слабослышащие, владеющие жестовым языком с раннего детства, и слышащие, – рассказывает Дарья Михайлова. – Каждой из групп мы продемонстрировали 4 списка, один из которых состоял из 20 слов, а остальные три из 30, 20 из которых были в первоначальном списке. Испытуемым демонстрировался первый список, остальные списки через 5 минут, 1 час и 1 день. Участники эксперимента должны были указать, какие слова ранее упоминались, а какие появились впервые. Первоначально мы предполагали, что информацию, продемонстрированную на жестовом языке, запомнят лучше, чем информацию в виде аудио для слышащих. Выборка у нас была очень маленькая и рано делать какие-то выводы без дополнительных испытаний – результаты нашего эксперимента на смене получились разные. Испытания мы продолжим, чтобы сделать уже более точные выводы.
Михаил Пёстрый (Свердловская область, Серов) и Полина Яшникова (Свердловская область, поселок Большой Исток) занимались исследованием влияния альфа-ритмов на эмоциональное состояние и бинауральных ритмов на уровень тревожности человека.
– Работает это примерно следующим образом: каждый момент времени наш мозг создает определенную звуковую частоту, – поясняет Михаил Пёстрый. – Например, если вы решаете сложную задачу по математике, «активируется» гамма-ритм; смотрите новый сезон «Игры престолов» – бета-ритм; загораете на шезлонге с коктейлем в руках – альфа-ритм, и таких ритмов достаточно много. Каждый ритм мозга обладает своими функциями, например, альфа-ритм может являеться показателем беспокойства: он повышается при расслаблении и понижается при тревоге. Альфа-ритм напрямую связан с нашим ментальным здоровьем.
Бинауральные ритмы – это звуки, которые мозг воспринимает («слышит»), хотя реальные звуки этой частоты отсутствуют. Наблюдать их действие можно только если подавать в уши звуки разной частоты. Например, если в одно ухо подается звук на 420 Гц, а в другое на 400 Гц, в результате возникнет бета-ритм (20 Гц). Предполагается, что мозг, «услышав» звук, подстраивается под него. В рамках эксперимента ребята проверяли цепочку звук-мозг-эффект, причем не только с бинауральными ритмами. Команда попробовала синтезировать низкую альфа-частоту в программе, чтобы сократить число необходимых динамиков.
– Мы прикрепляли множество электродов к головам участников и оставляли их на 30 минут, – продолжает Михаил Пёстрый. – Они сидели с закрытыми глазами и слушали звук дождя. Одной из групп мы включили чистый шум дождя, другой – звук дождя с альфа-частотой. Полученные с прибора данные обрабатывались в программе. И мы действительно зафиксировали активность головного мозга в альфа-ритме! Помимо этого мы выяснили, что участники, слушавшие дождь с альфа-частотой, почувствовали себя намного лучше, у них повысилась концентрация и бодрость, улучшилось настроение. Конечно, выборка у нас небольшая, и мы хотим продолжить исследования, чтобы сделать более серьезные и системные выводы.
Итоговые проекты команды презентовали экспертам и получили обратную связь. Для решений в треках «Биологическая обратная связь» и «Нейроинтерфейсы» провели выставку, чтобы эксперты и другие участники школы могли их протестировать. В итоге команда с проектом Relaxis, сделавшая мод для игры Minecraft, получила приглашение к сотрудничеству от компании Neuroplay, еще несколько школьников из разных направлений NeuroCamp пригласили на стажировку в лабораториях Сколковского института науки и технологий.
– Для ребят участие в этой школе дает возможность не только пообщаться с экспертами федерального уровня, но и реализовывать свои проекты после окончания смены вместе с нашей командой, продолжить взаимодействие с экспертами и организациями, на которые мы можем выйти, – говорит лидер Уральской образовательной резиденции Денис Скоморохов. – Это не классическая смена в лагере, где есть начало и конец, это старт большого взаимодействия с теми школьниками и теми командами, которые готовы продолжить работать в сфере нейротехнологий, и мы готовы им помогать мягко выходить на рынок.
«Практики будущего» – однодневные и многодневные хакатоны, проектные школы, соревнования и челленджи Кружкового движения НТИ, где школьники и студенты полностью погружаются в работу над реальной задачей, решают актуальные проблемы с помощью новых технологий. Методики «Практик будущего» связывают в едином пространстве совместной работы школьников, студентов, представителей бизнеса, образования, науки.
Центр развития результативного образования – образовательная среда для сотворчества и совместного проектирования, центр компетенции для передачи лучших практик и инноваций в образовательной экосистеме региона. Центр занимается подготовкой кадров для новых школ и организаций дополнительного образования, разработкой современных образовательных форматов по работе с субъектностью ребенка и персонализацией образования.