Нейросети Гарварда показали рекордные результаты в диагностике

Современные технологии продолжают бросать вызов традиционной медицине. Группа ученых из Гарвардской медицинской школы и Медицинского центра Бет-Исраэль Диконесс провела масштабный эксперимент, целью которого было сравнение диагностических способностей нейросетей OpenAI и квалифицированных врачей-терапевтов. Результаты работы оказались впечатляющими: ИИ не только не уступил людям, но и в ряде случаев продемонстрировал более высокую точность.

Об этом пишет TechCrunch.

​Ход эксперимента и методология

​В центре внимания исследователей оказались истории болезни 76 реальных пациентов, поступивших в отделение неотложной помощи. Ученые решили столкнуть лбами две модели — OpenAI o1 и GPT-4o — с профессиональным опытом двух лечащих врачей.

​Чтобы исключить предвзятость, оценивали результаты «слепым» методом: сторонние эксперты анализировали предложенные варианты диагнозов, не зная, кто их автор — человек или алгоритм. Важно отметить, что нейросети работали в тех же условиях, что и медики: им предоставлялись «сырые» данные из электронных медицинских карт без какой-либо предварительной обработки.

​Результаты: где ИИ оказался сильнее?

​Наибольший разрыв в качестве работы проявился на начальном этапе — при сортировке пациентов. В условиях дефицита информации, когда специалисту нужно максимально быстро принять решение, модель o1 показала себя наиболее эффективно.

• ​Точность ИИ (модель o1): 67% случаев постановки «точного или очень близкого к точному» диагноза.
• ​Точность врачей: один специалист показал результат в 55%, другой — в 50%.

​Как отметили авторы работы, на каждом этапе диагностического процесса модель o1 либо лидировала по показателям, либо сохраняла паритет с врачами и своей предшественницей 4o. Арджун Манрай, руководитель лаборатории ИИ в Гарварде, подчеркнул:

​«Мы протестировали ИИ-модель практически по всем критериям, и она превзошла как предыдущие модели, так и базовые показатели наших врачей».

​Скептицизм и этические вопросы

​Несмотря на триумф алгоритмов, медицинское сообщество призывает к осторожности. Врач Адам Родман в интервью изданию The Guardian заметил, что в критических ситуациях, когда речь идет о жизни и смерти, пациенты по-прежнему склонны доверять живому человеку, а не программному коду.

​Существует и вопрос специализации. Доктор скорой помощи Кристен Пантагани указала на важный нюанс: сравнение должно быть корректным. По ее мнению, нет практической пользы в том, что языковая модель может обойти дерматолога в вопросах нейрохирургии. Для реальной медицины важно, как ИИ справляется в сравнении с профильными специалистами, практикующими в конкретной области.

​«Если мы собираемся сравнивать ИИ-инструменты с клиническими навыками врачей, нам следует начать со сравнения с врачами, которые действительно практикуют в этой специальности», — добавила Пантагани.

Ранее "Курсор" писал, способен ли ИИ полностью заменить человека.

Исследование показало, что искусственный интеллект работает эффективнее, когда человек сохраняет контроль и участвует в принятии решений.