Нейросети Гарварда показали рекордные результаты в диагностике
Современные технологии продолжают бросать вызов традиционной медицине. Группа ученых из Гарвардской медицинской школы и Медицинского центра Бет-Исраэль Диконесс провела масштабный эксперимент, целью которого было сравнение диагностических способностей нейросетей OpenAI и квалифицированных врачей-терапевтов. Результаты работы оказались впечатляющими: ИИ не только не уступил людям, но и в ряде случаев продемонстрировал более высокую точность.
Об этом пишет TechCrunch.
Ход эксперимента и методология
В центре внимания исследователей оказались истории болезни 76 реальных пациентов, поступивших в отделение неотложной помощи. Ученые решили столкнуть лбами две модели — OpenAI o1 и GPT-4o — с профессиональным опытом двух лечащих врачей.
Чтобы исключить предвзятость, оценивали результаты «слепым» методом: сторонние эксперты анализировали предложенные варианты диагнозов, не зная, кто их автор — человек или алгоритм. Важно отметить, что нейросети работали в тех же условиях, что и медики: им предоставлялись «сырые» данные из электронных медицинских карт без какой-либо предварительной обработки.
Результаты: где ИИ оказался сильнее?
Наибольший разрыв в качестве работы проявился на начальном этапе — при сортировке пациентов. В условиях дефицита информации, когда специалисту нужно максимально быстро принять решение, модель o1 показала себя наиболее эффективно.
- Точность ИИ (модель o1): 67% случаев постановки «точного или очень близкого к точному» диагноза.
- Точность врачей: один специалист показал результат в 55%, другой — в 50%.
Как отметили авторы работы, на каждом этапе диагностического процесса модель o1 либо лидировала по показателям, либо сохраняла паритет с врачами и своей предшественницей 4o. Арджун Манрай, руководитель лаборатории ИИ в Гарварде, подчеркнул:
«Мы протестировали ИИ-модель практически по всем критериям, и она превзошла как предыдущие модели, так и базовые показатели наших врачей».
Скептицизм и этические вопросы
Несмотря на триумф алгоритмов, медицинское сообщество призывает к осторожности. Врач Адам Родман в интервью изданию The Guardian заметил, что в критических ситуациях, когда речь идет о жизни и смерти, пациенты по-прежнему склонны доверять живому человеку, а не программному коду.
Существует и вопрос специализации. Доктор скорой помощи Кристен Пантагани указала на важный нюанс: сравнение должно быть корректным. По ее мнению, нет практической пользы в том, что языковая модель может обойти дерматолога в вопросах нейрохирургии. Для реальной медицины важно, как ИИ справляется в сравнении с профильными специалистами, практикующими в конкретной области.
«Если мы собираемся сравнивать ИИ-инструменты с клиническими навыками врачей, нам следует начать со сравнения с врачами, которые действительно практикуют в этой специальности», — добавила Пантагани.
Ранее "Курсор" писал, способен ли ИИ полностью заменить человека.
Исследование показало, что искусственный интеллект работает эффективнее, когда человек сохраняет контроль и участвует в принятии решений.
