ИИ может выйти из-под контроля и "воевать" с людьми - прогноз

Специалист по нейросетям Джейкоб Коксон ушел из Anthropic после трех лет работы над обучением новых моделей искусственного интеллекта (ИИ). Покидая компанию, он раскритиковал ее руководство, а также OpenAI, обвинив обе организации в недостаточно ответственном подходе к вопросам глобальной безопасности.

Об этом сообщает издание Daily Mail.

По словам эксперта, суперинтеллектом можно считать систему ИИ, которая превосходит по возможностям любого человека, компанию или государство. Такие технологии теоретически смогут обходить существующие механизмы защиты и получать контроль над значительными ресурсами и инфраструктурой.

"Люди, которые создают искусственный интеллект, искренне верят, что он может убить нас всех до конца этого десятилетия", — подчеркнул Коксон.

Он добавил, речь идет не о маркетинговом преувеличении: многие руководители технологических компаний в частных беседах выражают аналогичные опасения. При этом Anthropic осознает потенциальные риски, но продолжает участвовать в гонке за лидерство в сфере ИИ, стремясь первой достичь поставленных целей.

В качестве примера потенциальной угрозы исследователь упомянул взлом Hugging Face с помощью ИИ от OpenAI. По его мнению, этот случай показал необходимость более жестких договоренностей между американскими разработчиками, вплоть до временной приостановки дальнейшего обучения моделей.

Глава отдела безопасности Anthropic Эван Хабингер подтвердил, что компания действительно всерьез рассматривает сценарий, при котором ИИ может представлять смертельную угрозу для человечества.

Специалист оценивает вероятность подобной катастрофы более чем в 10% в течение ближайшего десятилетия. При этом, по его мнению, у Anthropic пока нет четкого механизма, который позволил бы согласовать поведение будущего суперинтеллекта с интересами человечества.

Канадский исследователь Джеффри Хинтон также предупредил, что утрата контроля над более совершенным ИИ может иметь катастрофические последствия и потенциально привести к исчезновению человечества.

Эти заявления прозвучали на фоне политического скандала в Великобритании. Выяснилось, что Anthropic отказалась предоставить свою разработку для тестирования британскому Институту безопасности искусственного интеллекта, объяснив это давлением со стороны администрации президента США Дональда Трампа.

Ранее "Курсор" писал, что ИИ все активнее используется в различных сферах, но вместе с его развитием расширяется и спектр связанных с ним угроз.