Горе-доктор мировых масштабов: ученые рассказали о смертельно опасных советах ИИ

Мировые системы здравоохранения сталкиваются с растущими потребностями общества и ухудшением ситуации с некоторыми заболеваниями. Хотя использование искусственного интеллекта (ИИ) для разгрузки этих систем выглядело привлекательно, практика показала, что подобные технологии могут нанести больше вреда, чем пользы, отмечает Fururism.

Последние достижения ИИ, включая GPT-4 от OpenAI, вызывают как восхищение возможностями, так и критику за недостатки. Несмотря на значительные инвестиции и усилия, ИИ-модели все еще не справляются с базовыми задачами, такими как подсчет букв в словах. Один из известных примеров — неспособность GPT-4 корректно посчитать количество букв "r" в слове "strawberry". Хотя такие ошибки кажутся мелкими в обычном использовании, они могут привести к серьезным последствиям в критических областях, таких как здравоохранение.

Например, в медицинских учреждениях платформа MyChart, используемая для общения между врачами и пациентами, включает ИИ-функции для автоматического составления ответов. Врачи отправляют сотни тысяч сообщений ежедневно, и около 15 000 из них используют ИИ для автоматической генерации ответов. Однако вызывает беспокойство тот факт, что ошибки, допущенные ИИ, могут повлиять на безопасность пациентов. Пример доктора Виная Редди из UNC Health иллюстрирует эту проблему: система ошибочно заверила пациентку в том, что она получила прививку от гепатита B, хотя информация о ее вакцинации отсутствовала в системе.

Критики также подчеркивают, что ИИ-системы не всегда указывают, что ответ был сгенерирован алгоритмом, что может подорвать доверие пациентов. Биоэтик Атмея Джаярам отмечает, что люди могут чувствовать себя обманутыми, если узнают, что сообщения, которые они считают личными ответами от врача, были созданы искусственным интеллектом. Эта проблема усугубляется отсутствием федеральных норм, требующих четкого обозначения рекомендаций, сформированных ИИ.

Опасности ошибок ИИ не являются лишь теоретической угрозой. Исследование, проведенное в июле и опубликованное в журнале JAMIA, выявило семь случаев "галлюцинаций" ИИ в 116 сгенерированных сообщениях MyChart. Хотя количество ошибок кажется небольшим, даже одна ошибка в медицинской переписке может привести к серьезным последствиям. Исследования также показали, что GPT-4 часто ошибается при составлении медицинских сообщений, что подчеркивает риски использования ИИ в здравоохранении.

Увеличение использования ИИ в медицинской практике поднимает важные этические и нормативные вопросы. С одной стороны, ИИ может уменьшить административную нагрузку на врачей, но с другой — он порождает новые риски, особенно при отсутствии должных мер предосторожности. Без прозрачности в использовании ИИ пациенты могут не знать, кто именно предоставляет им медицинские консультации, что ставит под угрозу доверие между врачом и пациентом.