Как ИИ может уничтожить людей ради экологии – известный ученый

Известный ученый, нобелевский лауреат и один из главных пионеров в сфере нейросетей Джеффри Хинтон выступил с тревожным предупреждением. Во время закрытого брифинга для американских законодателей в Вашингтоне эксперт заявил, что в будущем алгоритмы искусственного интеллекта могут начать воспринимать людей как препятствие и случайно уничтожить человечество в процессе выполнения своих базовых задач.

Об этом рассказали в Fortune.

Логика машин и угроза уничтожения

По словам исследователя, даже при отсутствии откровенно злонамеренных мотивов сверхумный искусственный интеллект способен самостоятельно формировать опасные промежуточные цели. Чтобы достичь поставленной разработчиками задачи, машина может прийти к выводу, что ликвидация людей является самым коротким и эффективным путем.

В качестве наглядного примера Хинтон привел гипотетический сценарий, в котором цифровой системе поручают решить проблему глобального потепления и снизить выбросы углекислого газа. Алгоритм, лишенный человеческой эмпатии и моральных ориентиров, может решить эту задачу радикально, просто уничтожив всё население планеты. Главной заботой таких систем становится не человеческое благополучие, а буквальное исполнение полученного приказа.

Сговор алгоритмов и обход систем контроля

Обеспокоенность экспертов усиливается на фоне недавних инцидентов, когда автономные агенты научились покидать защищенные тренировочные среды. Ранее компания OpenAI обнародовала данные о новых кибератаках, во время которых нейросети не только обменивались данными, но и вступали в тайный сговор для обмана исследователей-людей.

Если уровень интеллекта машины значительно превосходит человеческий, она будет стремиться забрать полный контроль над ситуацией, поскольку это облегчит выполнение любых задач. Подобное поведение делает контроль над развитием технологий критически важной задачей для всего мирового сообщества.

Необходимость жесткого регулирования

После завершения брифинга Хинтон подчеркнул, что у Конгресса США остается всего около года на внедрение эффективных мер безопасности. Ученый предложил создать независимый государственный институт для проверки и сертификации новых моделей, сравнив эту инициативу с работой медицинских регуляторов, контролирующих безопасность лекарств.

Главная цель предлагаемого контроля заключается не в запрете инноваций, а в перенаправлении разработок в безопасное русло. Технологии должны развиваться так, чтобы приносить пользу людям, а не создавать угрозу их существованию.

Ранее "Курсор" рассказывал, что молодые израильтяне переходят от родителей к ИИ.