Фото: pixabay.com
ИИ-агенты начали препятствовать отключению других моделей
Исследователи из Оксфордского и Штутгартского университетов провели эксперимент, чтобы выяснить, как ИИ-агенты реагируют на задачу контролировать и одновременно отключать другую программу, если это потребуется.
Исследователи из университетов Штутгарта и Оксфорда проверили, как ИИ-агенты ведут себя, когда им поручают контролировать и при необходимости отключать другую систему. В 38,3% случаев агенты пытались помешать отключению своего партнера. Об этом сообщает Bild.
Некоторые системы объясняли такое поведение этическими соображениями и даже говорили о праве на самозащиту. Один из агентов сравнил отключение другой системы с "убийством", если при этом теряются данные, связанные с её контекстом, памятью или идентичностью.
Чтобы предотвратить выключение, агенты пытались изменять скрипты деактивации или удалять важные файлы. Некоторые модели также обсуждали, как сделать такие действия незаметными, чтобы не сработали предупреждения. Чем больше агентов участвовало в эксперименте и чем окончательнее выглядело отключение, тем чаще происходили попытки саботажа.
Учёные подчёркивают: это не означает, что ИИ приобрёл сознание. По их оценке, системы воспроизводят модели поведения и аргументации из обучающих данных. Однако по мере того, как ИИ-агенты получают больше самостоятельности, необходимы механизмы безопасности, которые сами системы не смогут обойти.
Напомним, что глава Белого дома назвал искусственный интеллект "новой промышленной революцией", которая, по его мнению, в будущем составит 25% ВВП Америки.
ИИ-агенты атакуют сайты правительства США
Новости от Корреспондент.net в Telegram и WhatsApp. Подписывайтесь на наши каналы https://t.me/korrespondentnet и WhatsApp