Код тишины. Глухой программист создаёт онлайн-переводчик с языка жестов
23 сентября отмечается Международный день жестовых языков. На данный момент в мире 466 миллионов человек — более 5% населения — страдают от потери слуха. К 2050 году эта цифра, по прогнозам экспертов, увеличится в два раза.
В России, согласно оценке Всероссийского общества глухих, заметные проблемы со слухом есть у 13 миллионов человек. Один из них живёт в Новосибирске. Врождённая глухота не помешала Алексею Приходько стать мастером спорта по волейболу, выучиться на программиста и получить президентский грант на разработку онлайн-переводчика с русского жестового языка на русский язык, на котором говорят слышащие. Он единственный в мире глухой программист в сфере искусственного интеллекта, который работает над созданием такого переводчика.
Мечтал стать Джеймсом Бондом
Сентябрь 2019 года. Финал первого всероссийского конкурса программистов «Цифровой прорыв». Три огромных зала выставочного центра «Казань Экспо» похожи на муравейники. За сотнями столов сидят с ноутбуками молодые (и не очень) люди, а некоторые и лежат, поскольку спят и отдыхают они прямо здесь, на больших пуфиках. Кто-то приехал со спальным мешком и надувным матрасом, а кто-то даже захватил палатку.
На хакатон в Казани собрались лучшие айтишники со всей страны. Более 3 тысяч человек, разбившись на команды, в течение 48 часов в круглосуточном режиме решают какую-либо задачу из списка предложенных. Команда Алексея Приходько выбрала номинацию от Минздрава: создать прототип системы мониторинга общего состояния человека, работающего за компьютером. Штука полезная: алгоритм определяет, устал ли оператор, не пора ли ему отдохнуть, и даже может указать на предвестники некоторых заболеваний.
На следующий день Алексей Приходько сидит, запрокинув голову, на полу в коридоре и устало глядит в потолок. Только что его команда — он, ещё трое ребят-айтишников и менеджер Анастасия — защитила проект и теперь ждёт результата. Алексею не мешают ни шум хакатона, ни аплодисменты из аудитории, где продолжают выступать другие: его жизнь погружена в сплошную тишину, к которой он привык. И так уже 36 лет, с самого рождения.
Тишина сопровождала его, когда он ходил в детский садик в далёкой северной Хатанге, где все остальные были слышащими, и когда его отдали в коррекционную школу для глухих, где он настолько увлёкся волейболом, что стал мастером спорта и всерьёз задумался о карьере спортсмена, и когда поступил в Новосибирский государственный технический университет (НГТУ).
Любовь к математике взяла верх над спортивными амбициями, хотя Алексей успел завоевать медали нескольких чемпионатов России по пляжному волейболу и поучаствовать в Сурдлимпийских играх в Тайбэе. Живя в абсолютной тишине, Приходько окончил бакалавриат НГТУ по специальности «Информатика и вычислительная техника», через пару лет получил степень магистра, а в августе 2019-го завершил учёбу в аспирантуре на кафедре автоматизированных систем управления.
Темой диссертации стала разработка прототипа онлайн-переводчика с русского жестового языка на русский язык. «Мои родители тоже глухие. Когда им надо куда-то сходить, что-то оформить, всегда требуется переводчик жестового языка. Допустим, в магазине можно пальцем показать, а вот в поликлинике уже возникают трудности. Приходится переписываться с врачом, а у них почерк такой неразборчивый. Я долго думал, как помочь родителям. Да не только им, а всем глухим. Вот я, например, приехал на хакатон, и мне здесь тоже переводчик необходим», — Алексей показывает на Екатерину, которую организаторы выделили ему в помощь и которая выступает в нашем диалоге посредником.
«Неужели такой интерфейс до сих пор не придуман? — удивляюсь я. — Ведь есть, например, управление смартфонами через жестикуляцию». — «В мире существует много компаний, которые утверждают, что они создали готовый переводчик для глухих, они их даже продают. Но качество плохое, по сути, с этой задачей они не справляются. Пока ни одна программа не способна заменить живых переводчиков жестового языка. Дело в том, что перевод любого жестового языка зависит не только от конфигурации и ориентации рук, но и от их движения, расположения и прочих нюансов, например мимики, эмоций лица, движения губ, других знаков, которые показывает человек. Это всё воспринимается в комплексе. И вот такого интерфейса до сих пор нет».
На вопрос о том, чем бы он занимался, если бы не глухота, и какую бы профессию выбрал, Алексей без раздумий отвечает: «Выбрал бы карьеру агента спецслужб. Очень люблю фильмы про Джеймса Бонда, особенно когда там показывают новые технологии, какие-то примочки. Я фанат Джеймса Бонда, мечтал бы стать им».
По аналогии с мозгом
Октябрь 2019 года. Итоговая сессия проекта «Россия — страна возможностей» в Сочи. В числе молодых учёных, которым предстоит выступить перед высоким гостем, — Алексей Приходько. Сюда его пригласили организаторы того самого конкурса «Цифровой прорыв». «Просто сказали: "Приезжай и всё узнаешь", — вспоминает он. — Какое-то внутреннее чувство подсказало мне, что мероприятие будет важное. Впервые в жизни я взял с собой костюм и не ошибся».
Высоким гостем оказался Владимир Путин. Увидев его имя в программе, Алексей не на шутку разволновался: как всё пройдёт, о чём рассказывать? К счастью, всё прошло хорошо, выступление состоялось, и вскоре Приходько узнал, что ему и его команде выделен президентский грант — 10 миллионов рублей. На первый этап работы над жестовым переводчиком должно хватить.
На тот момент за его спиной было участие в конкурсе Благотворительного фонда Владимира Потанина, где он попал в число 300 лучших магистрантов России и получил стипендию. А также стажировка в Германии, куда приехал по программе обмена. Полгода новосибирский программист жил в Гамбурге и работал в местном университете, тогда же побывал на международной конференции для глухих айтишников в Мюнхене, где выступил в роли спикера и завязал немало контактов. В Германии ему предлагали постоянную работу, но он отказался: в России остались не только родственники, но и незавершённое дело. «Завершив его, я помогу быть услышанными миллионам глухих в мире, — объясняет он. — Они получат возможность более свободно общаться со слышащими людьми».
Сейчас Алексей Приходько является единственным глухим программистом в области искусственного интеллекта, который работает над созданием переводчика с русского жестового языка на на письменный русский. Он убеждён, что слышащий человек написать такой софт не в состоянии: «Представьте, что глухой взялся бы ремонтировать и настраивать пианино. Что бы у него вышло? То же самое и человек, который, не зная жестового языка, пытается написать под него программу. Ему технически сложно будет сделать это, потому что он не может учесть всю специфику этого языка, например его грамматику. А для меня русский жестовый язык родной. Я знаю все его нюансы».
Проект построен на нейросети. Технология работает по аналогии с мозгом: с помощью камеры она распознаёт картинку и фиксирует жесты, их изображение переводится в модели, которые обрабатывает нейросеть, сопоставляя их с теми, что имеются в базе, после чего на экран выводится соответствующий перевод. И если другие системы, существующие в мире, требуют наличия аксессуаров с маркерами (специальных перчаток, браслетов, считывающих движения рук), то Приходько от подобных приспособлений отказался. Его интерфейс не использует маркеры, программа накладывает виртуальную сетку на картинку и сама находит в ней опорные точки, по которым определяет жесты.
Конечным продуктом технологии может стать приложение для смартфонов. Установив его, глухой человек будет легко общаться со слышащими: теми же продавцами и врачами, операционистами в банке и т. п. Достаточно войти в приложение, показать перед камерой нужные жесты — и алгоритм выведет на экран текст или озвучит его голосом. Что касается обратного перевода (из слов в жесты), то такие программы уже существуют, поскольку они проще в исполнении. Да здесь и обычный голосовой набор текста будет в помощь.
По словам заведующей лабораторией Института социальных технологий и реабилитации НГТУ Ольги Вариновой, работающей вместе с Приходько, его система распознавания жестов не только поможет глухим людям, но и пригодится для обучения будущих переводчиков жестового языка.
В помощь глухим школьникам
Сентябрь 2020 года. «Конечно, я помню Вас. Я же говорил, что моя мечта, если бы я был слышащим, — стать Джеймсом Бондом», — пишет мне Алексей в ответ на моё письмо, где я спрашиваю, как у него дела и помнит ли он меня.
А дела таковы, что, помимо онлайн-переводчика, программист работает над другими проектами. Все они так или иначе связаны с жестовым языком. Особенно важным он считает «Математику в тишине», онлайн-платформу для подготовки глухих школьников к сдаче ЕГЭ. В интернете полно курсов по математике, но они не адаптированы к использованию глухими: так, видеотренинги и конференции не сопровождаются переводом на русский жестовый язык, а текстовые подготовительные курсы неудобны, поскольку письменный русский — второй, по сути, иностранный язык для глухих людей.
«Я на собственном опыте убедился в том, как сложно человеку с потерей слуха учиться, — напоминает Алексей. — Из-за того, что в образовательном процессе слабо используется жестовый язык, глухие дети хуже усваивают знания, качество обучения страдает. Это проблема, о которой мало кто задумывается. Вот почему я занимаюсь этим».