Ольга Магомедова и Мария Гирич, научные сотрудники лаборатории анализа лучших международных практик Института Гайдара, дали развернутый комментарий для издания «Независимая газета», в котором объяснили причины низкой эффективности ИИ в медицинской диагностике и рассказали о существующих подходах к регулированию этой сферы в России и за рубежом.
Как пояснила Ольга Магомедова, причину высокой вероятности ошибок со стороны популярных чат-ботов следует искать в самой природе этих технологий:
«ИИ чат-боты – это не инструмент медицинской диагностики, это пользовательский сервис, основанный на языковой модели. У него нет цели диагностирования, его цель – ответить на запрос на основе предоставленных данных – когда человек вводит набор симптомов, языковая модель находит по всем публично доступным ресурсам с описанием таких симптомов наиболее часто встречающиеся описания болезней. Поэтому естественно, 80% ответов ИИ будут ошибаться с диагнозом, без того набора данных, которые бы запросил квалифицированный врач при работе с тем же пациентом. Выводы: при самостоятельном составлении запроса пользователь с более высокой вероятностью получит неправильный ответ по причине незнания, какие данные нужно сообщить для более точного диагностирования».
При этом Ольга Магомедова обратила внимание на принципиальную разницу между универсальными чат-ботами и специализированными медицинскими ИИ-системами. Последние, по ее словам, могут быть действительно полезны, но при соблюдении важного условия:
«Если же мы говорим о настоящих медицинских технологиях, основанных на ИИ, для диагностирования, то их эффективность напрямую зависит от баз данных, на которых они обучены. Отсюда и такая узкая специализация диагностирующих технологий: модель, обученная на распознавании графических изображений опухолей, не сможет помочь с оценкой снимков костей. Такая специализация повышает точность результатов и действительно может помогать врачам с диагностированием».
Итоговый вывод эксперта однозначен:
«Не нужно принимать решения о самолечении на основе выдачи неспециализированных языковых моделей».
Мария Гирич также подробно осветила нормативно-правовые аспекты использования ИИ в медицине:
«В России медицинские устройства с ИИ признаются высокорисковыми (3 класс) (Приказ Минздрава России от 06.06.2012 № 4н), если имеют высокий индивидуальный риск и/или высокий риск для общественного здоровья. Росздравнадзор проводит пострегистрационный мониторинг безопасности и клинической эффективности медицинских изделий с ИИ. Например, была отменена регистрация Botkin.AI (анализ медицинских изображений и принятие решений)».
Она также рассказала о действующем в России экспериментальном правовом режиме:
«Кроме того, в России проводится экспериментальный правовой режим для медицинской деятельности с применением технологий сбора и обработки сведений о состоянии здоровья и диагнозов граждан (Постановление Правительства РФ от 09.12.2022 № 2276). Тестируются „персональные медицинские помощники“, которые собирают данные пациента в ИС медицинских организаций для мониторинга показателей состояния здоровья пациента, например, при артериальной гипертензии, сахарном диабете и пр. (показатели артериального давления, частоты сердечных сокращений, гликемии и пр.)».
Говоря о зарубежных подходах, Мария Гирич отметила, что ЕС также относит медицинские устройства с ИИ к высокорисковым, предъявляя к ним строгие требования:
«В связи с этим предъявляются отдельные требования, например, по наличию системы управления рисками (анализ известных и идентификация разумно прогнозируемых рисков, а также обязательная маркировка и прохождение сертификации устройств), по обеспечению безошибочного и полного набора данных, которые анализируются ИИ, по обеспечению человеческого надзора за решениями, сгенерированными ИИ».
Для дальнейшего развития рынка, по мнению эксперта, Минздраву необходимо принять ряд мер:
«Для развития рынка медицинских устройств на основе ИИ Минздраву также необходимо определить требования к ПО на ИИ как к высокорисковому, включая: обязательный человеческий мониторинг решений, принимаемых ИИ; требования к формированию и хранению данных – должна иметься возможность проанализировать данные, на которых ИИ сгенерировал решение; внедрение системы управления рисками – возможность прогнозирования, реагирования, системы автоматической записи событий; обязанность разработчиков систем ИИ предоставлять техническую документацию для проведения оценки рисков».
Особое внимание Мария Гирич уделила недопустимости полной замены врача искусственным интеллектом, приведя примеры из практики Китая и США:
«Также важно говорить о рисках замены решений врачей в отношении пациентов решениями, сгенерированными ИИ. Например, в Китае медицинское учреждение не может использовать ИИ, выдавая за врача или заменяя врача, имеющего право оказывать услуги по диагностике и лечению лично. Рецепты на лекарства также должен выписывать сам лечащий врач, использование ИИ или других автоматизированных методов формирования рецептов запрещено. В США также опубликовано несколько законопроектов, например, по запрету принятия решений в здравоохранении и медстраховании исключительно на основе результатов ИИ – такое решение должно содержательно рассматриваться человеком (законопроект в Джорджии). Другой пример – запрет для медучреждений принимать политики, заменяющие независимые оценки лицензированных специалистов по уходу за пациентами на рекомендации или решения ИИ (законопроект Иллинойса)».