Юрий Васильев: «Сервисы искусственного интеллекта не хуже среднего врача, но хуже хорошего»
Искусственный интеллект уже полностью изменил систему диагностики в Москве. Как это теперь устроено и в чем плюсы?
Директор Центра диагностики и телемедицины департамента здравоохранения Москвы Юрий Васильев рассказал, как к сервисам искусственного интеллекта отнеслись врачи и кто может стать провайдером программ ИИ для столичной медицины.
Юрий Васильев, директор Центра диагностики и телемедицины департамента здравоохранения Москвы. Столица в числе мировых лидеров, может, вообще лидер в сфере массового внедрения продуктов искусственного интеллекта для диагностики.
Юрий Васильев: Все происходит благодаря тому, что Москва взялась за это скрупулезным и интересным подходом. И сегодня действительно мы много ездим по миру для того, чтобы изучать опыт, все пытаются идти в этом направлении, мы пытаемся изучать абсолютно все и везде, слушать, смотреть, изучать, читать. Это все произошло благодаря инвестициям Москвы в развитие сервиса искусственного интеллекта. Инвестициям не только денежным, но и умственным.
Это устроено таким образом, что существуют компании-разработчики, которые разрабатывают продукты, и есть городской центр, который их использует, внедряет, отслеживает, как это работает, дает рекомендации врачам. И самое главное, что организовано это сейчас как платформа на промышленной основе, то есть вы мне показали, я об этом расскажу, просто открыли компьютер и показали сегодняшние снимки, один из которых сделан недавно и обработан продуктом искусственного интеллекта. Сколько компаний выходят на этот рынок, предоставляют вам свои программы и с каким успехом?
Юрий Васильев: Мы создали, по сути, рынок, предложив услугу, предложив возможность за это получать деньги, предложив возможность быть подконтрольным, Москва создала рынок искусственного интеллекта. Этот рынок позволил сегодня на госзакупках осуществлять закупку этих сервисов, потому что их становится все больше, между ними появляется конкуренция. И, собственно, это рынок. Компаний довольно много. Они делятся на те компании, которые имеют регистрационное удостоверение, есть те компании, которые на сегодняшний находятся в научной сфере нашего эксперимента по внедрению компьютерного зрения. Но сегодня больше 50 сервисов.
Под разные, как говорится, диагнозы или нозологии.
Юрий Васильев: Да, под разные задачи в том числе. Раньше у нас были моносервисы, например, один выявлял одну патологию. И вот мы развивали, развивали, развивали этот сервис, он стал лучше, мы им ставим новую задачу — развить новый сервис. Например, есть ишемический и геморрагический инсульт. Сначала мы развивали ишемический инсульт...
Это когда мало крови поступает.
Юрий Васильев: Это когда сосуд перестает питать участок головного мозга. И геморрагический...
Когда, наоборот, кровоизлияние.
Юрий Васильев: Впоследствии, получив релевантные данные по каждому из моносервисов, попросили коллег слить это в единый сервис, который определял бы у пациента тип инсульта, а дальше выполнял функцию, которая определяла бы по шкале ASPECTS объем ишемического или геморрагического инсульта. Соответственно, он выполнял задачи, но мы начинали их развивать постепенно. И это постепенное развитие и постепенная постановка задач позволяет нам уделять большое количество времени на то, что мы впоследствии будем контролировать.
Врач после того, как искусственный интеллект посмотрел снимок, причем это работает сейчас уже индустриально и конвейерно, снимок, сделанный в любом центре, поступает в базу вашего центра, и тут же программа его осматривает и выдает результат. Врач после этого пересматривает внимательно глазами?
Юрий Васильев: Во-первых, врачу поступает нативное исследование, которое не проанализировано сервисом, и проанализированное сервисом практически одномоментно. И врачу, это же помощник врача.
Но не заместитель врача?
Юрий Васильев: Мы понимаем риски и понимаем, где можно применять сервис искусственного интеллекта самостоятельно, а где нельзя. Этот процесс нужен для того, чтобы помочь врачу, например, померить объем гематомы. Гематома имеет нестандартную форму и несколько участков, врач меряет объем гематомы, например, 100 миллиметров, и сервис искусственного интеллекта меряет тоже 110 миллиметров. Через три дня исследование делает другой врач и пишет 75 миллиметров, а сервис искусственного интеллекта пишет 110 миллиметров.
Разная динамика.
Юрий Васильев: Нет, по-разному померена.
А кто прав?
Юрий Васильев: В данном случае права была линейка ИИ, потому что он одинаково померил. Второй врач тоже прав, он померил наибольший участок гематомы, то есть не маленькие участки, а самый большой. То есть в этом нет проблемы, но есть и линейка, которая постоянно меряет одинаково этот объем.
И тем самым показывает динамику.
Юрий Васильев: Да, и показывает динамику. И в данном случае это не ошибка врача.
Для каких диагнозов сейчас искусственный интеллект наиболее эффективен и больше всего применяется? Что он делает: ускоряет процесс, делает его более точным? Врач все равно посмотрит, но у него уже будет второе мнение после искусственного интеллекта?
Юрий Васильев: Например, маммография. Особенно мы гордимся тем, что создали услугу в ОМС для того, чтобы применять сервис искусственного интеллекта, это была первая услуга в системе здравоохранения с применением сервиса искусственного интеллекта в маммографии. И здесь мы получили очень большой и серьезный результат как медицинский, так и экономический, потому что первым оценивает сервис искусственного интеллекта, дальше это попадает врачу. Мы тем самым убиваем возможность ложноотрицательного результата, что для нас очень важно, ложноотрицательный результат — это когда никто не увидел, пропустил. Ложноположительные результаты бывают, да, окей. А если посмотреть на статистику сегодня, мы предотвратили достаточное количество ложноотрицательных результатов, особенно когда мы проверяли совпадения между врачом и сервисом искусственного интеллекта.
Что еще? Большой импульс развитию искусственного интеллекта при анализе рентгена и других исследований был дан во время пандемии.
Юрий Васильев: Он делал самое главное — определял объем поражения легочной ткани.
С этого момента так пошло. А куда пошло дальше? Вы сейчас рассказали — маммография, какие еще сейчас нозологии проверяет искусственный интеллект?
Юрий Васильев: Представьте себе, я врач-рентгенолог, у меня есть потолок описываемых мною снимков, дальше физически не справлюсь, я физически не смогу больше описать. Что нужно сделать для того, чтобы я смог больше описать? Что-то за меня автоматизировать. Мы сегодня понимаем, что на самом деле такие цифровые помощники делают то, что мы бы с вами никогда в жизни не сделали. Что делает врач-рентгенолог? Он сидит, вместо того, чтобы смотреть на картинки, он пишет, потому что нужно много написать. Возможно пользоваться шаблонами, пользоваться голосовым вводом, пользоваться сервисом искусственного интеллекта. Мы пользуемся всеми возможными способами для оптимизации работы врача. Голосовой ввод, как пример, это же тоже нейронка, тоже наши врачи сидят, диктуют. Но есть люди, которые не могут, кто, например, заикается, им некомфортно пользоваться такими голосовыми помощниками. Тогда пользуются шаблонами, но шаблоны нужно искать. А здесь сервис искусственного интеллекта сразу это сделал. То есть разные способы оптимизации работы врача позволяют нам ускорить и оптимизировать процесс, чтобы он обращал внимание больше на изображения, а не на текст, который он пишет. Претензии-то в основном бывают к тому, что он, отвлекаясь на картинку и текст, не замечает, что перепутали право с лево. Врач же пишет заключение, а эта деталь в начале шаблона, наверное, и он не замечает ее. Для сервиса искусственного интеллекта, поскольку там есть маркировка в метаданных, он может это вставить сразу правильно.
Я начал с того, что на пневмонии это все было отработано. Вы рассказали про огромное количество анализов по маммографии, которые обработал искусственный интеллект, а какие новые диагнозы, которые осваивает искусственный интеллект?
Юрий Васильев: Скажу не про диагнозы, а про процесс. Мы сегодня уникальны тем, что встраиваем процесс искусственного интеллекта, то есть мы находим не диагноз, а процесс, от которого мы можем отказаться. Мы начали проект по автономному применению сервиса искусственного интеллекта в скрининговой рентгенографии. Смысл заключается в том, что на сегодняшний день все делали скрининговую флюорографию. Но по факту это не флюорография, это скрининговое цифровое исследование рентгенографии органов грудной клетки. Когда вы последний раз делали рентгенографию органов грудной клетки?
Не вспомню.
Юрий Васильев: Зря, надо все-таки проходить диспансеризацию. Эти исследования выполняются здоровому населению. Надо понимать, что, когда вы делаете эти исследования на поиск той или иной патологии здоровому населению, 99% этих снимков будут нормой. Представьте, врач пишет сотни тысяч этих рентгенографий органов грудной клетки, где забывают, как выглядит патология. А зачем, если есть сервис искусственного интеллекта и это некий баланс между чувствительностью и специфичностью? Если мы выкрутим максимально чувствительность, чувствительность — это возможность обнаружить, а специфичность — возможность сказать, что это конкретно, он будет находить любую патологию, которая там только может быть, даже что-то, что будет на самом деле нормой.
Но если не к чему придраться, то можно и к врачу...
Юрий Васильев: То это уже точно не к чему придраться.
А если есть хоть что-то, к чему придраться, смотрит врач.
Юрий Васильев: Да, смотрит врач. И сегодня мы начали этот процесс, но тем не менее я хочу сказать, что все исследования, которые обнаружены нормой, все равно в сторонней медицинской организации пересматриваются врачами. То есть не нужно бояться, что только один сервис искусственного интеллекта работает автономно. Нет, мы понимаем и риски, и понимаем, что нужно даже такие процессы все равно держать под контролем, мы должны быть уверены. Для того чтобы быть уверенными, запустили этот большой проект — сервис искусственного интеллекта автономно будет писать заключение в карту пациента. И сегодня, если у пациента норма, ему придет результат с сервиса искусственного интеллекта с нормой, но врач это все равно пересмотрит.
Значит, если я правильно понимаю, искусственный интеллект в диагностике равен, это называется компьютерное зрение.
Юрий Васильев: Да.
Он потом еще и пишет словами все результаты, но распознает визуально.
Юрий Васильев: Да.
Это имеет что-нибудь общее с программами распознавания лиц, объектов вне медицинской специфики?
Юрий Васильев: Мы создавали механизм для контроля, для мониторинга сервисов, то есть создавали службу, которая существует для того, чтобы смотреть на то, как безопасно сегодня это работает. Этим занималось большое количество ученых, врачей. Я горжусь теми людьми, с кем работаю в центре, у меня работают умные люди. То есть гениальные люди создали большое количество различных методов мониторинга, сервисов искусственного интеллекта, которые на, самом деле, можно натянуть на что угодно в компьютерном зрении. Та же самая матрица зрелости, на сайте лежит матрица зрелости сервиса искусственного интеллекта. Она экстраполируется на любой Computer Vision. Нужно распознать фотографию — окей, там есть методика, как это делать, как это оценивать. Сейчас нам, например, передали проект по искусственному интеллекту в патоморфологии. Гистология — это стекла.
Да, стекла — это страшное слово, потому что, если у кого-то ставится онкологический диагноз, эти стекла пересматривают из одной клиники в другую, вот там лучше, самые лучшие специалисты там, поезжайте туда. Стекла — это новое для искусственного интеллекта.
Юрий Васильев: Это не только сами стекла новые, но и сам механизм. Сегодня это новая цифровая платформа, в Москве теперь патоморфология будет цифровой. Стекла все равно остаются, они оцифровываются, но и остается изображение этого стекла. И для того, чтобы смотреть, необязательно везти стекла.
Необязательно, а по сложным онкологическим случаям люди пользуются и обращаются к консультациям зарубежных онкологов и так далее.
Юрий Васильев: Возможно. И мы поняли, что наша методика, которую мы применили для лучевой диагностики, работает для другой специальности, а по сути дела, может быть натянута на весь Computer Vision. Ведь нам нужно понять точность работы сервиса искусственного интеллекта. Все задают вопросы, это главный беспокоящий всех вопрос, как точно, как четко, какие параметры, а лучше ли она врача, лучше ли она кого-то? Во-первых, не существует метрик врача. Очень важно, что мы все требуем от сервисов искусственного интеллекта, какая его точность, у нас есть и данные по точности врача. Мы провели и опубликовали научное исследование.
Ну и? Раз уж все задают такой вопрос, я его тоже задам, конечно.
Юрий Васильев: И мы получили данные, что сегодняшние сервисы искусственного интеллекта сравнимы со средним врачом. Компетенции врача сильно неоднородны. Но сегодня многие сервисы искусственного интеллекта не хуже среднего врача, но хуже, чем хороший врач. Мы все мечтатели. Все, с кем я обсуждаю, кто интересуется темой, это все мечтатели. А мечтатели додумывают себе больше, чем существует на сегодняшний день. Понятное дело, что мы предполагаем, что сервисы искусственного интеллекта будут делать это, будут делать то, потому что они могут проанализировать большее количество материалов, чем я и вы. Я приведу один из примеров, который на самом деле был бы очень, наверное, полезен читателям для понимания, что может сервис искусственного интеллекта. Сегодня в мировой медицинской литературе ежесуточно выпускается около 15 тысяч статей во всех рецензируемых журналах, это невозможно проанализировать никаким человеческим мозгом. Мы перешли тот рубикон, когда мы могли анализировать все выходящие материалы, мне кажется, лет 30 назад — когда появились KPI по количеству публикаций.
Там интересные от неинтересных не отличишь.
Юрий Васильев: И попробуйте отличить правильно выполненный метаанализ от неправильного, это в принципе невозможно сделать. Сервис искусственного интеллекта при правильно поставленной четкой задаче может сделать что нужно, может отобрать, сепарировать, выбрать, собрать в контекст. То есть здесь это возможно, но это не предсказательная способность, это большее количество задач, чем может выполнить человек.
Скажите, а без предсказаний, как тем не менее оценить риски возникновения тех или иных заболеваний?
Юрий Васильев: И врач может это сделать, у него есть система.
Если у вас повышенный холестерин, то есть такая табличка...
Юрий Васильев: Да, стратификатор рисков. Надо сказать, что, опять же, сервису искусственного интеллекта не нужно придавать чуть ли не божественное значение. Это ужасно, потому что это не так. Это что-то, что выполняет какую-то функцию, процесс.
Как врачи относятся к внедрению этого помощника?
Юрий Васильев: По-разному. Врач точно такой же человек, как вы и я, и какие-то врачи считают, что это хорошо, какие-то врачи считают, что это не хорошо. Мы проводили и проводим исследования, у нас там пятибалльная шкала и голосование врачей, как они относятся к сервису искусственного интеллекта. Мне так это нравится, как изменялось в самом начале, когда почти 100% там было «один», «два» — все плохо, ужасно, а потом потихоньку перешло в «три», начали появляться «четыре», «пять». Но «четыре», «пять» — это как «один» и «два». Это те люди, кто, наверное, хочет отвязаться от этого голосования, потому что целевая группа — это «три». Вы не хвалите же свой телефон — ах, какой чудесный, какой он замечательный? Он есть, работает, и все, я же не рассказываю всем, что это чудеса, это инструмент. Для нас важно, чтобы врачи относились к этому не за, не против, а просто приняли это как факт и использовали это, как используют телефон, калькулятор. Нам не нужно, чтобы они удивлялись этому, этому не нужно удивляться, это прогресс, мы не удивляемся сейчас тому, что машина ездит на бензине, как раньше ездили на повозке, это процесс, который мы видим с вами, и цифра три — для нас это максимально.
Сколько стоит создать сервис искусственного интеллекта? Это же система у вас сейчас, это не просто сервис, и производят разработчики, у вас централизованная база, и сам процессор...
Юрий Васильев: Компании сами работают, анализируют, мы платим им деньги за то, что они анализируют каждое изображение. Очень интересный факт, он, возможно, отражает и стоимость косвенно. У нас есть одна компания, которая участвует в эксперименте, которая получает гранты в этом эксперименте. В этой компании работает один человек, она же разработчик, она же создатель, она же бухгалтер — один человек в компании, который создал сервис искусственного интеллекта, работающий в Москве, и, возможно, станет одним из участников рынка, когда получит регистрационное удостоверение. Сервис искусственного интеллекта для той или иной задачи можно создать и не вложениями миллиардов, достаточно умных мозгов.
Но ведь там есть специфика, и надо обладать компетенциями для того, чтобы принять участие в создании сервисов.
Юрий Васильев: Вы даже себе не представляете, как все просто и прозрачно.
То есть любой программист, который разбирается в построении программ искусственного интеллекта, может взять и переключиться, например, на медицину?
Юрий Васильев: Конечно. Надо понимать, что количество данных увеличивается. Появляется много открытых наборов данных, в том числе недавно, рынок появился, сервисы искусственного интеллекта появляются.
Это все в открытом доступе, это не надо покупать, это не чья-то собственность?
Юрий Васильев: Многое из этого является открытым, огромное количество дата-сетов есть, которые открыты.
Грубо говоря, компании, которые потратили деньги на то, чтобы собрать данные, на то, чтобы разметить, и на то, чтобы научить свои первые программы, они потратили деньги, а теперь все этим могут пользоваться, как свободной библиотекой, так, что ли?
Юрий Васильев: Есть и такое.
Но не во всем?
Юрий Васильев: Не во всем. Не все патологии есть.
А те патологии, которые уже давно пройдены, поступают в общее пользование?
Юрий Васильев: Например, сервисов искусственного интеллекта по маммографии много, по рентгенографии органов грудной клетки еще больше. И надо сказать, что создался рынок по органам грудной клетки сервисов искусственного интеллекта: индусы, американцы — все во всем мире, есть сервисы, они создали для себя дата-сеты и для обучения, кто-то эти дата-сеты опубликовал, кто-то на это получил гранты, получил, опубликовал это как научно-исследовательский институт. Много-много разных итераций, и вот набралась база данных, создавай сервис. Я не создатель сервисов, не бизнесмен, но, мне кажется, создать сервис не так сложно.
Я давно не ходил в поликлинику, но мне рассказывали, что в госполиклиниках на рентгене или на других исследованиях нет профильных врачей, а только человек, который технически все это делает.
Юрий Васильев: Там сейчас находится самый важный для врача человек, самый дорогой и любимый сердцу — лаборант. Лаборант сейчас делает вам исследование, и это исследование поступает в Центр диагностики и телемедицины. Сегодня в Центре диагностики и телемедицины больше 400 врачей-рентгенологов, то есть вся служба централизована, в поликлиниках нет врачей. Раньше для исследования нужно было искать компетентного врача, такое специализированное исследование, например, органов грудной клетки, будет отправлено к специалисту, который занимается этим вопросом.
То есть все рентгены и не только идут к вам?
Юрий Васильев: Да. И они распределяются в том числе по компетенциям врача. Мы о каждом враче знаем его компетенцию, знаем, в чем он силен, знаем, чем он занимается, что ему нравится, и эти исследования поступают к этому врачу.
А людям иногда хочется прийти: знаете, у меня что-нибудь болит, сделайте мне рентген и скажите сразу как врач.
Юрий Васильев: У меня всегда есть на это ответ: зачем делать исследование с лучевой нагрузкой просто так? Ведь вы можете прийти в частную клинику и сказать, я хочу, чтобы мне сделали...
Да, в частной клинике рентгенолог прямо здесь сидит.
Юрий Васильев: Дело не в том, что он есть на месте, врач-рентгенолог не консультирует пациента. В обязанности врача не входит консультация пациента.
Он не консультирует, но у него уже можно спросить: доктор, как там?
Юрий Васильев: И в результате доктор скажет не то, потому что еще не успел посмотреть ваше исследование. В этом вся проблема, что он бегло посмотрел на картинку, сказал, что все хорошо, а потом дальше что-то нашел или, наоборот, не нашел. Это очень важно, врач должен сидеть и концентрироваться на работе, его задача ничего не пропустить. Все жалуются, маленький прием у врача. У врача-рентгенолога вообще нет приема, у него не должно быть приема, 30 секунд беседы — это не консультация врача, он должен посмотреть и описать. И очень важно, что исследование, которое будет сделано без обоснования, неправильно. Почему, когда вы хотите записаться на рентгенографию, вам говорят, сходите сначала к терапевту? Потому что это личная безопасность пациента. Это врачи думают о том, чтобы вы так не облучались, потому что ему достаточно будет посмотреть и сказать: намажь эту мазь, этого достаточно, рентгенография не нужна. Нам не жалко делать исследование. В начале XX века людям обувь примеряли с помощью рентгенографии, а потом поняли, что так нельзя делать.
Частная медицина в Москве проявляет интерес подсоединиться, допустим, или, может быть, она тоже подсоединена к этой системе?
Юрий Васильев: На сегодняшний день любая медицинская организация, работающая в системе ОМС, частная, федеральная, Московского фонда ОМС, должна свои исследования отправлять в наш единый радиологический информационный сервис. То есть если пациент, например, наблюдается в онкологической клинике, пошел в стороннюю клинику, сделал ПЭТ-КТ в частной клинике, то это ПЭТ-КТ сможет посмотреть его лечащий онколог, а сегодня сделан процесс, что все исследования лучевой диагностики, сделанные по Московскому фонду ОМС, видны всем врачам.
А там бывает по ОМС?
Юрий Васильев: Конечно. Сегодня практически все исследования ПЭТ-КТ делают частные клиники по ОМС.
А флюорографию, которую вы мне рекомендовали все-таки сделать, потому что я не делал давно, пришел я в частную, чтобы не ходить по терапевтам...
Юрий Васильев: Эта организация должна входить в тарифное соглашение. Если они хотят работать по ОМС, тогда вы им не платите за это.
По ОМС терапевт должен назначить, нельзя взять и записаться?
Юрий Васильев: Конечно.
Есть ли у вас KPI?
Юрий Васильев: Вы даже себе не представляете, как много мы считаем, сколько мы считаем.
Сейчас во всем мире этим занимаются, потому что люди занимаются сейчас наполовину работой, а наполовину составлением или придумыванием отчетов о работе.
Юрий Васильев: Мы от этого уходим. Главный вредитель организации — это ее директор, который срочно требует отчет, останавливается вся рутинная работа для того, чтобы подготовить директору какие-то цифры, мы ушли от этого, у нас есть дашборды, которые лежат в функционале каждого из исполнителей. И мы не встречаемся с этими людьми и не задаем вопросы, потому что они все уже сделали, у меня это все перманенто наполняется, и я все это смотрю, опять же это организационная история. А теперь если вернуться к сервисам искусственного интеллекта, опять же в KPI, мы мониторим. Есть матрица зрелости в открытом доступе — это объективные параметры, это как бинарное сопоставление попал/не попал, а дальше руками отсмотренные исследования и балльно-рейтинговая система сервисов. Есть даже внутренняя программа, которую мы создали, где мы рассчитывали безубыточность процесса с автономным искусственным интеллектом. Там есть точка, когда его применение менее эффективно, чем если это все будет делать врач. Мы даже такие разработки делали о том, что мы считали, сколько должно быть процентов, какая чувствительность, какая специфичность должна быть сервиса. Мы считаем практически все, и все эти цифры мы обязательно, если будет возможность, опубликуем, покажем, в том числе экономически. Это очень важно, потому что экономический эффект позволяет улучшать в том числе и сервисную составляющую организации.
В чем мы отстаем, в каких нозологиях, в каких технологиях, есть что-то, где мы отстаем, где вы знаете, что кто-то делает больше и лучше?
Юрий Васильев: Мы не то что отстаем, в сервисе искусственного интеллекта мы сегодня очень далеко вперед ушли, и меня это немного пугает. Я, как человек скептический, я ученый, который всю жизнь думал, что, наверное, недосмотрел, недоглядел, здесь что-то надо больше работать, надо делать больше. И на сегодняшний день мы не видим, за кем бежать. Ты думаешь, либо ты так сильно отстал, что ты не видишь, куда они ушли, либо ты так вперед убежал, что ты не видишь никого сзади.
Никого рядом, который бежит в ту же сторону.
Юрий Васильев: Приведу пример. Мы много раз были в Китае, видим, как внедряется сервис искусственного интеллекта в Китае, это спорадическая история, которая вообще не работоспособна. Они поставили на рабочую станцию врачу сервис искусственного интеллекта, никак не измеряют, не смотрят, не анализируют, врач хочет — пользуется, не хочет — не пользуется, все. ИИ ради ИИ. Мы в процесс вставляем, пытаемся потом контролировать, то есть пытаемся заменить какую-то задачу, очень скрупулезно работая. Они так не делают. Почему вы так не делаете? Может быть, мы что-то не увидели? А у них — купил и купил, не купил и не купил. У них нет этого стимула.
Такой системности, которая создана в Москве.
Юрий Васильев: Да.