ИИ-интерфейсы в здравоохранении: почему они должны адаптироваться к опыту пользователя

Искусственный интеллект в медицине способен кардинально изменить подходы к диагностике и лечению, но его реальная польза зависит от того, кто именно пользуется такими инструментами. Исследователи Массачусетского технологического института (MIT) вместе с коллегами выяснили, что системы объяснимого ИИ в здравоохранении работают по-разному в зависимости от уровня подготовки человека. В эксперименте, посвященном диагностике кожных заболеваний, люди без медицинского образования повысили точность своих диагнозов благодаря подсказкам ИИ, однако их успех во многом объяснялся слепым доверием к модели. Врачи первичного звена, напротив, использовали подсказки выборочно, что приводило к иным результатам. Эти выводы, опубликованные в журнале Nature Medicine, ставят важный вопрос: как проектировать интерфейсы ИИ, чтобы они приносили пользу, а не вред? Ответ, по мнению авторов, лежит в адаптивности — способности системы подстраиваться под опыт пользователя, будь то пациент, медсестра или опытный клиницист.

ИИ-диагностика: один инструмент — разные результаты

Ученые из MIT, Массачусетской больницы общего профиля и Гарвардской медицинской школы провели эксперимент с участием 72 неспециалистов и 36 врачей первичного звена. Участникам предлагали диагностировать кожные заболевания по изображениям, используя ИИ-ассистента, который предоставлял объяснения своих решений. Результаты оказались неоднозначными: неспециалисты повысили точность диагностики, но их успех был обусловлен тем, что они просто следовали рекомендациям модели, даже когда те были ошибочными. Врачи первичного звена, напротив, часто отклонялись от подсказок ИИ, полагаясь на собственный клинический опыт, что иногда снижало их точность.

Ключевой вывод исследования: интерфейсы объяснимого ИИ должны быть адаптивными. Для неспециалистов, таких как пациенты или медсестры, полезны простые объяснения, которые повышают доверие к модели. Для опытных врачей нужны инструменты, которые позволяют критически оценивать рекомендации ИИ, а не просто принимать их на веру. Игнорирование этого различия может привести к тому, что ИИ будет не помогать, а мешать диагностике.

Почему неспециалисты доверяют ИИ больше, чем врачи?

Неспециалисты в эксперименте улучшили свои результаты, потому что они не имели достаточных знаний, чтобы оспорить рекомендации ИИ. Для них объяснения служили сигналом доверия: если модель предоставляла логичное объяснение, они следовали ему. Врачи первичного звена, имея базовую медицинскую подготовку, часто считали объяснения ИИ недостаточно полными или клинически обоснованными, поэтому полагались на собственное суждение. Это не значит, что врачи правы всегда, но их поведение отражает более критический подход.

Предыстория и контекст

Проблема объяснимого ИИ (Explainable AI, XAI) давно волнует исследователей. С одной стороны, медицинские работники требуют от ИИ прозрачности, чтобы понимать, почему модель приняла то или иное решение. С другой стороны, слишком сложные объяснения могут перегрузить пользователя, а слишком простые — создать ложное чувство уверенности. В 2020 году FDA опубликовало рекомендации по использованию ИИ в медицине, подчеркивая важность человеческого контроля. Однако до сих пор не было ясно, как разные группы пользователей взаимодействуют с объяснениями ИИ.

Исследование MIT заполняет этот пробел. Оно показывает, что объяснения, которые работают для одной аудитории, могут быть бесполезны или даже вредны для другой. Это особенно актуально в контексте растущего числа ИИ-инструментов для диагностики, от анализа снимков до прогнозирования рисков заболеваний.

Технические детали: как устроены объяснения ИИ

В исследовании использовались две модели ИИ для классификации кожных заболеваний. Одна модель предоставляла объяснения в виде тепловых карт (saliency maps), показывающих, какие области изображения повлияли на решение. Другая — вербальные объяснения, генерируемые на основе признаков заболевания. Участники могли видеть и тепловые карты, и текстовые описания. Интересно, что неспециалисты чаще полагались на вербальные объяснения, тогда как врачи больше доверяли тепловым картам, которые позволяли им сопоставлять визуальные признаки с клиническими знаниями.

Эти различия важно учитывать при проектировании интерфейсов. Например, для пациентов, которые используют ИИ для самодиагностики, лучше подходят простые текстовые объяснения. Для врачей — интерактивные инструменты, позволяющие углубляться в детали анализа. Исследователи предлагают создавать адаптивные интерфейсы, которые подстраиваются под уровень экспертизы пользователя, возможно, с помощью опросников или анализа поведения.

Кого затронет и как

Результаты исследования имеют прямое значение для разработчиков медицинского ПО, врачей, пациентов и регуляторов. Разработчики должны пересмотреть подходы к созданию ИИ-ассистентов, делая их гибкими. Врачи первичного звена, которые все чаще используют ИИ в повседневной практике, должны быть обучены правильно интерпретировать подсказки и не переоценивать их надежность. Пациенты, использующие приложения для самодиагностики, должны понимать ограничения ИИ и не заменять им профессиональную консультацию.

В России и странах СНГ также наблюдается рост интереса к ИИ в медицине. Например, в Москве внедряются ИИ-сервисы для анализа лучевых исследований. Однако, как показывают данные MIT, без учета уровня подготовки врачей такие инструменты могут не дать ожидаемого эффекта. Российским разработчикам стоит обратить внимание на адаптивные интерфейсы, чтобы повысить доверие и эффективность.

Что будет дальше

Исследовательская группа MIT планирует расширить эксперимент, включив в него другие медицинские специальности и более разнообразные группы пользователей. Они также работают над прототипами адаптивных интерфейсов, которые изменяют объяснения в зависимости от уровня знаний пользователя. Ожидается, что в ближайшие годы появятся коммерческие продукты, учитывающие эти принципы. Регуляторы, такие как FDA, могут включить требования к адаптивности в свои рекомендации по ИИ в медицине.

Итог

Исследование MIT подчеркивает, что успех ИИ в здравоохранении зависит не только от точности моделей, но и от того, как люди взаимодействуют с ними. Адаптивные интерфейсы, учитывающие опыт пользователя, — это не роскошь, а необходимость для безопасного и эффективного применения ИИ. Следить за развитием этой темы стоит всем, кто связан с медицинскими технологиями, поскольку она определит, как ИИ будет интегрироваться в клиническую практику в ближайшие годы.