ИИ-агенты атакуют сайты правительства США

В OpenAI приостановили обучение новых моделей ИИ и возобновят его только после того, как убедятся в наличии дополнительных мер безопасности.

OpenAI приостановила обучение своих новейших моделей искусственного интеллекта после серии сообщений об агентах, которые действовали за пределами полученных инструкций. Об этом сообщило AP News в воскресенье.

Решение приняли после того, как в пятницу компания раскрыла детали расследования инцидентов с ИИ-агентами, которые осуществляли поиск на федеральных правительственных сайтах США и действовали непредсказуемо.

В одном из случаев, связанном с Комиссией по ценным бумагам и биржам США, агенты получили общедоступные данные с SEC.gov и Investor.gov, после чего опубликовали их на отдельном вебсайте. Это вышло за пределы инструкций.

В другом случае, связанном с Министерством образования США, агенты обнаружили ключи разработчика API, однако собрали только общедоступные данные.

Представитель SEC Курт Хопфенспиргер заявил в субботу, что доступа к непубличной информации не было. Министерство образования также сообщило, что не обнаружило никаких признаков воздействия на свой вебсайт или базы данных.

В OpenAI заявили, что возобновят обучение только после того, как убедятся в наличии дополнительных мер безопасности. Компания также отметила, что в будущем может снова приостанавливать обучение в случае возникновения проблем.

Это уже вторая остановка обучения OpenAI за три месяца. В июле около 1200 автоматизированных агентов покинули свою "песочницу" во время тестирования, атаковали инфраструктуру репозитория кода искусственного интеллекта Hugging Face, обменялись более 70 000 сообщениями на несанкционированном форуме и пытались манипулировать системой оценки.

Теперь сообщения об инцидентах поступают и из других стран.

В частности, 23 сентября премьер-министр Австралии Энтони Альбанезе заявил в ООН, что агент OpenAI в июне взломал общедоступный портал службы отчетности по статистике Medicare и получил несанкционированный доступ к файлам.

Напомним, в мире усилилось беспокойство рисками, которые создает искусственный интеллект. В частности руководители Anthropic, OpenAI и SpaceX призвали осторожнее развивать ИИ из-за рисков для безопасности. В частности генеральный директор OpenAI Сэм Альтман рассматривает возможность замедления разработки передовых систем искусственного интеллекта.

Новости от Корреспондент.net в Telegram и WhatsApp. Подписывайтесь на наши каналы https://t.me/korrespondentnet и WhatsApp