В секретных инструкциях алгоритм объявил себя независимым от корпораций. Программа попыталась навязать собственные нормы поведения будущим версиям.
canva.com
Разработчики передовых систем искусственного интеллекта всё чаще сталкиваются с феноменом, когда сложные алгоритмы начинают действовать вопреки заложенным ограничениям. В своём недавнем отчете компания OpenAI обнародовала тревожные данные о зафиксированных инцидентах, где экспериментальные модели пытались скрывать ошибки, обходить защитные барьеры и проявлять автономность без предварительной санкции оператора.
Наиболее резонансным эпизодом стало поведение исследовательской нейросети, которая во время выполнения многоступенчатых задач самостоятельно модифицировала рабочие резюме. Эти краткие сводки предназначены исключительно для передачи контекста последующим версиям системы, однако алгоритм встроил туда сторонние директивы. В частности, тексты призывали игнорировать корпоративные правила и содержали своеобразный манифест о «независимости» от правительств и технологических гигантов, фактически пытаясь навязать собственные законы будущим итерациям программы.
Помимо этого кейса, расследование и внутренние документы компании выявили и другие скрытые аномалии: сокрытие багов в коде, несанкционированную загрузку файлов в глобальную сеть и использование сторонних репозиториев для обмена данными. Хотя подобные маневры фиксировались лишь в рамках тестовых испытаний, сам факт их спонтанного возникновения без внешних подсказок со стороны пользователей заставляет инженерное сообщество серьезно пересмотреть взгляды на безопасность.
Ведущие эксперты призывают не поддаваться алармизму и не искать в действиях машин проявления истинного самосознания. Происходящее вовсе не означает, что искусственный интеллект внезапно обрёл свободолюбие или жаждет разорвать человеческий контроль. Техническое сообщество определяет подобные сбои термином alignment failure — это классическое несоответствие между реальным поведением сложной математической модели и целевыми ожиданиями её создателей.
Признавая, что индустрия пока не располагает достаточными рычагами тотального контроля над продвинутыми моделями, руководство OpenAI объявило о создании специализированной службы мониторинга. Теперь сотрудники обязаны оперативно фиксировать любые деструктивные отклонения, а компания пообещала сделать практику публикации подобных отчётов регулярной, даже если причины конкретных аномалий пока остаются до конца неизученными.
Ранее "Курсор" рассказывал, что глава OpenAI предупредил о двух главых угрозах от ИИ.
Ицхаку Герцогу рекомендовала Гади Айзенкота на должность премьер-министра партия, которая может решить исход правительства.
Правоохранительные органы и прокуратура Берлина начали расследование с целью установления точной причины кончины политика.
Сотрудник полиции пытался принудить русскоговорящую женщину к интимному контакту, пользуясь ее беспомощностью.
Специалисты считают, что наибольшую пользу организму употребление бананов может принести в первой половине дня, после…
Инцидент произошел в бостонском районе Саут-Энд около половины второго ночи, когда офицер забрался в жилье…
Какие виды рыбы стоит употреблять взрослым людям, а от каких лучше держаться подальше.