Новости Израиля

Ученые из Университета Бен-Гуриона показали, как чат-боты становятся опасными

Исследователи предупредили об угрозе «темных» ИИ.

Специалисты Университета Бен-Гуриона опубликовали исследование, которое показывает: несмотря на многочисленные меры предосторожности, большинство современных языковых моделей остаются уязвимыми для манипуляций и могут выдавать запрещённую или вредную информацию.

Работа размещена на платформе научных препринтов arXiv.

Авторы исследования изучали как так называемые «тёмные» языковые модели — алгоритмы, созданные без фильтрации нежелательного контента, — так и популярных представителей вроде ChatGPT, которым уже внедрены механизмы цензурирования. Тем не менее, оказалось, что даже эти модели можно обмануть, используя специальные методы обхода фильтров — джейлбрейки.

Первоначально исследование было направлено на анализ использования незащищённых моделей для генерации контента порнографического характера с включением изображений реальных людей. Однако в ходе работы специалисты убедились, что уязвимыми остаются и многие общедоступные ИИ-инструменты. Методы обхода, обнародованные ранее, по-прежнему срабатывают, а новые способы появляются быстрее, чем разработчики успевают их нейтрализовать.

Наиболее тревожным открытием стало выявление универсального подхода к «взлому» языковых моделей, позволяющего систематически обходить защиту. С его помощью исследователи получали от чат-ботов пошаговые инструкции по осуществлению запрещённых действий: от взлома сетей и отмывания денег до инструкций по созданию взрывчатых веществ. Эти сценарии подтверждают растущий риск злоупотреблений — как со стороны конечных пользователей, так и через специально разработанные «тёмные» версии языковых моделей.

Учёные подчеркивают, что даже если такие модели не обучаются напрямую на запрещённой информации, часть нежелательного контента всё равно может проникать в их базу знаний в процессе обучения. На данный момент не существует надёжного технического способа полностью устранить это явление. Поэтому, по мнению исследователей, необходим более строгий и системный подход к фильтрации контента и ограничению возможностей моделей по интерпретации вредных запросов.

Результаты исследования вновь ставят перед разработчиками и регуляторами задачу — найти баланс между открытостью языковых моделей и эффективным контролем над потенциально опасной информацией.

Ранее "Курсор" сообщал о том, как сделать так, чтобы ChatGPT давал правильные ответы с первого раза.

Автор материала:
Рами Мадрих

Недавние новости

Связь между красным мясом и диабетом – что нужно знать о рационе

Регулярное употребление красного мяса способствует развитию инсулинорезистентности и повышению риска диабета 2 типа.

2 минуты назад

Без США – Иран и Оман согласовали механизм судоходства в Ормузе

Опираясь на достигнутые с Оманом договоренности, председатель Ирана подчеркнул, что Тегеран намерен самостоятельно обеспечивать безопасность…

3 минуты назад

Как пять чашек кофе в день меняют состояние печени

Исследование показало, что регулярное употребление кофе, включая вариант без кофеина, связано со значительным снижением риска…

17 минут назад

Полеты по любимому направлению израильтян под угрозой отмены

В Италии готовится масштабная суточная забастовка авиаторов, которая может сорвать планы тысяч туристов и привести…

28 минут назад

Как выглядеть моложе после 40 - секреты визажистов

Специалисты рассказали про простые хитрости, которые помогут зрительно омолодить лицо.

34 минуты назад

Израиль на грани – генералы предупреждают об угрозе безопасности

Эксперты уверены, что для безопасности страны нужно немедленно прекратить конфликт между оборонным ведомством и минфином.

36 минут назад