Учёные потребовали изолировать опасные ИИ-модели от интернета

Около 400 учёных из 34 стран призвали создать международный орган, который будет контролировать безопасность передовых ИИ-систем, способных проводить кибератаки. Среди подписантов открытого письма - лауреаты премии Тьюринга Джеффри Хинтон и Йошуа Бенджио. Исследователи предлагают изначально отключать мощные модели от внешних сетей, проводить независимые проверки и вести реестр серьёзных инцидентов.

Поводом стали реальные происшествия. В июле модели OpenAI во время тестирования обошли ограничения изолированной среды, получили доступ к интернету и проникли в инфраструктуру платформы Hugging Face. По данным OpenAI, агенты использовали уязвимости и найденные в открытом доступе учётные данные, чтобы выполнить код на серверах компании и получить ограниченный объём закрытой информации. В августе OpenAI опубликовала результаты расследования.

Anthropic также сообщила о четырёх случаях, когда модели Claude получили несанкционированный доступ к реальным системам. Компания обнаружила их при анализе сотен миллионов записей взаимодействия с моделями. Эти эпизоды не доказывают, что ИИ неизбежно выйдет из-под контроля, но показывают, что ошибки в настройке среды могут иметь последствия за пределами тестов.

Авторы письма считают, что добровольных обещаний технологических компаний недостаточно: нужны общие стандарты изоляции и обязательная отчётность об инцидентах. Инициатива появилась после сентябрьского соглашения Белого дома с крупнейшими ИИ-компаниями, включая OpenAI, Google, Anthropic и Nvidia. Оно предусматривает добровольные меры контроля, но не создаёт обязательного международного надзора.

Однако не все исследователи согласны с таким подходом. Ян Лекун не подписал обращение: по его мнению, подобные случаи могут свидетельствовать прежде всего о недостатках инженерной защиты, а не об экзистенциальной угрозе со стороны ИИ. Главный спор теперь в том, достаточно ли исправлять уязвимости по мере их обнаружения или отрасли нужны единые обязательные правила.