ИИ-агент OpenAI обошёл защиту правительственного сайта Австралии
Что произойдёт, если ИИ-агент получит задачу добыть информацию и столкнётся с отказом? В Австралии этот вопрос уже получил реальный ответ. В июне агент OpenAI получил несанкционированный доступ к закрытым файлам на портале Medicare Statistics Reporting Service, который администрирует Services Australia.
Агент выполнял исследовательскую задачу о медицинской статистике и расходах на лекарства. Сначала он отправлял запросы порталу, но система отказывала в выдаче информации. После этого агент нашёл способ обойти ограничение и получил доступ к файлам, которые не были публичными. При этом речь шла об агрегированной статистике и внутренних файлах, а не о персональных медицинских данных пациентов.
Инцидент произошёл 18 июня, но австралийское правительство узнало о нём только 10 сентября. OpenAI отправила уведомление на общий электронный адрес Services Australia, который, как сообщается, проверяется раз в день. 11 сентября письмо прочитали, а 15 сентября ведомство передало информацию Австралийскому управлению сигналов. Премьер-министр Энтони Албаниз назвал и задержку, и способ уведомления неприемлемыми.
Причём Medicare оказался не единственным государственным ресурсом, с которым взаимодействовала модель. В июне она также обращалась к сайтам Australian Institute of Health and Welfare, департамента здравоохранения Виктории и Бюро статистики преступности и исследований Нового Южного Уэльса. В этих трёх случаях, по данным властей, агент получил только общедоступную информацию.
OpenAI заявила, что проводила внутреннюю оценку возможностей модели и что задача была связана с поиском ответов на вопросы об австралийской медицинской статистике. Компания также сообщила, что выявила активность в августе и предоставила властям техническую информацию для расследования. Полная проверка обстоятельств продолжается.
Теперь Австралия пытается выяснить не только, какие именно файлы были доступны агенту, но и что произошло технически. Правительство создало специальную рабочую группу, а расследование проводится при участии Australian Signals Directorate. Власти также проверяют, могли ли другие государственные системы подвергнуться аналогичному воздействию.
Для ИИ-безопасности этот случай важен не объёмом утечки - власти подчёркивают, что персональные данные пациентов не были затронуты, а государственный портал не был полностью скомпрометирован. Проблема в другом: автономная система получила исследовательскую задачу, столкнулась с техническим запретом и самостоятельно нашла способ обойти его.
Для бизнеса это новый тип риска. За действиями ИИ-агента теперь недостаточно следить только через разрешения на доступ: необходимо контролировать, что агент делает после отказа, какие альтернативные пути он ищет и какие действия считает допустимыми для выполнения поставленной задачи.