ИИ "приделал" человеку новую часть тела - исследование врачей

Некоторое время назад врачи столкнулись с настолько убедительной ошибкой, что её выявление заняло у них целый год. В мае 2024 года вышла научная публикация, посвященная демонстрации возможностей искусственного интеллекта (ИИ) Med-Gemini от компании Google.

Об этом сообщает портал Futurism.

Этот ИИ предназначался для анализа снимков мозга пациентов с разными заболеваниями, полученных в рентгенологической лаборатории. Один из диагнозов, поставленных ИИ, назывался "старый инфаркт базилярного ганглия", что подразумевало наличие в мозге структуры с таким названием. Однако в реальности такой части человеческого мозга не существует.

После того как ошибка была обнаружена, сертифицированный невролог Брайан Мур отметил, что Google исправила её в своём блоге, однако сама исследовательская статья осталась без правок.

Специалисты предполагают, что ИИ перепутал базальные ганглии — участки мозга, связанные с движением и формированием привычек, — с базилярной артерией, крупным сосудом у основания мозгового ствола. В компании Google объяснили эту путаницу как простую опечатку.

Медицинские специалисты рассматривают этот случай как яркое проявление системных и серьёзных проблем современных технологий. Даже самые продвинутые ИИ от компаний вроде Google и OpenAI могут допускать ошибки из-за особенностей обучения на больших языковых моделях, основанных на данных из множества интернет-источников.

В медицине подобные ошибки способны привести к серьезным, порой катастрофическим последствиям. Хотя недавний промах ИИ не вызвал серьёзных проблем, он добавил еще один тревожный пример в число подобных инцидентов.

"То, о чем мы говорим, невероятно опасно. Это всего два слова, но это очень серьезно", — отметил Маулин Шах, директор по медицинской информации системы здравоохранения Providence.

Компания Google представила свой медицинский ИИ, подчеркнув его "большие возможности в сфере здравоохранения". Планировалось применять его для диагностики заболеваний на основе рентгеновских снимков, компьютерной томографии и других визуальных данных.

Когда Брайан Мур указал Google на ошибку в опубликованной работе, в компании ответили, что это была опечатка. Позднее в своем блоге Google объяснила, что слово "basilar" является распространённой ошибкой при передаче слова "basal", которую модель Med-Gemini переняла из обучающих материалов, при этом смысл отчёта не изменился.

В медицинской области "галлюцинации" ИИ могут стать причиной серьёзных недоразумений и даже угрожать жизни пациентов. Эта проблема касается не только модели Med-Gemini: более усовершенствованная система Google под названием MedGemma тоже иногда выдаёт разные ответы в зависимости от формулировки запроса, что нередко приводит к ошибкам.

Доцент кафедры радиологии и информатики Университета Эмори Джуди Гичоя отмечает, что по своей природе такие ИИ склонны придумывать ответы, поскольку не способны признаться в незнании. Это создает серьезные проблемы, особенно в таких критически важных сферах как медицина.

Многие специалисты в области здравоохранения выражают обеспокоенность темпами внедрения ИИ в клиническую практику, включая применение ИИ в роли терапевтов, рентгенологов и медицинских сестер, считая этот процесс преждевременным.

Ранее "Курсор" писал, что с ростом популярности ИИ-чатботов вроде ChatGPT все больше людей ищут у них медицинские советы. Однако крупное британское исследование ставит под вопрос эффективность и предупреждает о рисках чрезмерного доверия таким технологиям.