Мозг, как GPT: израильские ученые открыли новые принципы обработки языка

Команда доктора Ариэля Гольдштейна провела исследование в сотрудничестве с Google Research в Израиле и Медицинской школой Нью-Йоркского университета. В центре их внимания оказались глубокие языковые модели, такие как GPT-2, которые используют "пространства включений" – векторные представления слов, зависящие от контекста. Эта технология позволяет искусственному интеллекту интерпретировать одно и то же слово по-разному в зависимости от окружающих условий.

Работа, опубликованная в журнале Nature Communications, открывает новые перспективы для понимания нейронных механизмов и их схожести с принципами работы ИИ.

Чтобы проверить, применяет ли мозг похожий подход, ученые записывали нейронную активность участников, прослушивавших 30-минутный подкаст. Исследования показали, что в нижней лобной извилине мозга формируются динамические "мозговые включения", схожие с контекстуальными векторными представлениями языковых моделей. Эти "включения" помогли исследователям предсказать реакцию мозга на слова, которые ранее не встречались.

Выводы говорят о том, что мозг опирается на контекст для обработки языка, а не только на фиксированные представления слов. Доктор Гольдштейн отметил:

"Мы обнаружили, что динамичные контекстуальные включения оказываются более тесно связанными с нейронной активностью, чем устаревшие теории фиксированных представлений"

Этот подход меняет представление о работе мозга, предлагая рассматривать его как гибкую систему, чутко реагирующую на контекст. Полученные результаты не только углубляют понимание человеческого мышления, но и подчеркивают, как достижения ИИ могут помочь в изучении нейронных механизмов обработки языка.

Ранее "Курсор" сообщал, что 14 израильских ученых выиграли исследовательские гранты от ЕС.