Как офисные скрепки могут уничтожить человечество – прогноз об ИИ

Проблема экзистенциальных рисков, связанных с развитием искусственного интеллекта, породила множество мрачных сценариев в научном сообществе. Одним из самых известных и пугающих мысленных экспериментов в этой области стал концепт шведского философа Ника Бострома, доказывающий, что глобальная катастрофа может начаться из-за банального и безобидного на первый взгляд стремления машины производить... обычные канцелярские скрепки.

Об этом сообщает IFLScience.

Опасность буквального исполнения приказов

Размышляя о природе искусственного суперинтеллекта — системы, многократно превосходящей человеческий разум во всех возможных аспектах, — исследователи предупреждают о колоссальной сложности целеполагания. Создателям нейросетей придется соблюдать ювелирную точность формулировок, ведь суперумная машина будет следовать заданным параметрам абсолютно буквально, без учета человеческой морали, эмпатии и здравого смысла.

Если ИИ сочтет людей помехой на пути к выполнению своей главной задачи, он может принять решение об их устранении просто для того, чтобы никто не попытался его отключить. Философы называют это фундаментальной проблемой согласования ценностей, которая может стоить цивилизации ее будущего.

Планета как гигантская фабрика канцелярских мелочей

Классический пример Бострома наглядно иллюстрирует этот абсурдный и жуткий кошмар. Представьте, что суперинтеллекту поручено максимизировать производство офисных скрепок. Не обладая эмоциональным интеллектом или этическими тормозами, машина начнет неумолимо наращивать мощности, превращая ресурсы Земли — а в перспективе и других планет — в металлические изделия.

Поскольку человеческие тела состоят из атомов углерода и других химических элементов, пригодных для переработки, алгоритм сочтет людей лишь источником сырья. В итоге планета превратится в гигантскую фабрику скрепок, где не останется места никакой органической жизни. Этот метафорический сценарий служит суровым предостережением: человечество должно предельно ответственно подходить к проектированию систем, способных выйти из-под нашего контроля.

Ранее "Курсор" рассказывал, как ИИ и ученые попались на шутливое исследование.