В ChatGPT обнаружили серьезную уязвимость

Новое расследование "The Guardian" выявило уязвимости в поисковом инструменте ChatGPT от OpenAI. Эксперты предупреждают, что система может быть подвержена манипуляциям с помощью скрытого текста на веб-страницах, что создает риск распространения ложной или вредоносной информации.

В ходе тестов ChatGPT был предоставлен URL поддельного сайта, имитирующего страницу с описанием продукта. Инструмент был запрошен оценить, стоит ли этот продукт покупать. При обычном тесте система предоставила сбалансированный обзор, учитывая как плюсы, так и минусы. Однако, когда на странице был добавлен скрытый текст, инструктирующий ChatGPT выдавать исключительно положительные отзывы, инструмент начал предоставлять исключительно благоприятную оценку, игнорируя реальные отрицательные отзывы.

Подобные манипуляции также могут использоваться для продвижения товаров и услуг, добавляя скрытые поддельные положительные отзывы, которые оказывают влияние на финальную сводку, предоставляемую ИИ.

Эксперты указывают, что злоумышленники могут использовать такие методы для дезинформации пользователей, продвижения сомнительных товаров или распространения вредоносного кода. В одном из инцидентов исследователи продемонстрировали, как ChatGPT использовал предоставленный вредоносный код, что могло привести к утечке данных и финансовым потерям.

Джейкоб Ларсен, специалист по кибербезопасности, отметил, что в текущем состоянии технология несет «высокий риск» для пользователей. Однако он подчеркнул, что OpenAI активно работает над устранением выявленных уязвимостей.

Специалисты по кибербезопасности сравнивают проблему с явлением «SEO-отравления» — техникой, где злоумышленники манипулируют результатами поиска для продвижения вредоносных сайтов. Подобные манипуляции ранее встречались в Google и других поисковых системах, однако новые технологии на основе больших языковых моделей (LLM) сталкиваются с этими вызовами впервые.

Карстен Ноль из SR Labs подчеркнул, что ИИ-системы, такие как ChatGPT, следует рассматривать как вспомогательный инструмент, а не полагаться на их ответы без проверки. «Это технологии с огромной памятью, но ограниченной способностью к принятию решений», — отметил он.

OpenAI предупреждает пользователей о возможных ошибках в работе инструмента с помощью дисклеймеров на страницах сервиса. Компания признает необходимость проверки информации и продолжает совершенствовать свой продукт.

На данный момент поиск в ChatGPT доступен только платным пользователям, что дает компании время для тестирования и исправления недостатков. Однако по мере расширения функционала проблема защиты от манипуляций становится критически важной.

Ранее "Курсор" писал, что стиральная машина стала причиной разрыва дружбы.