Исследователи MIT, Stanford и Columbia University опубликовали в Nature Medicine результаты эксперимента, который ставит острый вопрос об автоматических ИИ-объяснениях в диагностике. Оказалось, что польза от них зависит от квалификации пользователя — и для неспециалистов такие подсказки могут быть опасны. Эта находка напрямую касается всего, что делается в области искусственного интеллекта в медицине: инструмент, повышающий точность эксперта, способен вводить в заблуждение новичка.
Что выяснили учёные
В эксперименте участники распознавали кожные заболевания с помощью ИИ-системы, которая давала не только предсказание, но и объяснение своего вывода. Неэксперты с ИИ-поддержкой ставили диагнозы точнее — но главным образом потому, что просто следовали рекомендации алгоритма, не оценивая её критически. Врачи же показали лучший результат, когда получали только прогноз модели без объяснений: пояснения отвлекали и снижали их точность. Как сообщили в MIT News, исследование показало: «одно и то же объяснение может помочь эксперту и ввести в заблуждение новичка».
Почему это важно
Главная проблема — не сам ИИ, а слепое доверие к нему. Неспециалисты были увереннее в неправильных ответах именно тогда, когда алгоритм давал ошибочное объяснение. Клиницисты, напротив, умели распознавать ошибки модели и корректировать её выводы. Авторы работы — Orson Xu (Columbia University), Marzyeh Ghassemi (MIT) и Roxana Daneshjou (Stanford) — делают вывод: интерфейс медицинских ИИ-систем должен адаптироваться под уровень пользователя. Для врачей достаточно краткого предсказания, для широкой аудитории — дополнительных защитных барьеров против некритичного следования алгоритму.
