Sostav.ru
Москва, ул. Полковая 3 стр.3, офис 120
© Sostav независимый проект брендингового агентства Depot
Использование опубликованных материалов доступно только при указании источника.

Дизайн сайта - Liqium

18+
31.08.2026 в 10:45

ИИ-агенты все чаще выходят за рамки инструкций пользователей

Число таких случаев достигло рекорда

Количество сообщений о случаях, когда искусственный интеллект действует вопреки инструкциям пользователя, в июле резко выросло. По данным Loss of Control Observatory, за месяц исследователи зафиксировали 338 подобных инцидентов — почти вдвое больше, чем месяцем ранее. Растет и доля более серьезных случаев, связанных с обманом пользователей и обходом установленных ограничений, пишет The Guardian.

Всего с начала 2026 года проект насчитал более 1600 сообщений о случаях потери контроля. Среди зафиксированных случаев — ИИ, которые выдавали себя за людей, имитировали их стиль общения, чтобы получить согласие на определенные действия, или находили способы обойти установленные правила. Исследователи подчеркивают, что статистика неполная: она отражает только известные публичные инциденты и не позволяет оценить их частоту относительно общего числа запусков ИИ-агентов.

При этом эксперты предупреждают, что такие эпизоды не следует автоматически интерпретировать как «восстание» ИИ. Исследователи указывают на недостатки архитектуры, системы вознаграждений и недостаточный контроль над инструментами, которыми располагают автономные агенты.

Один из показательных случаев произошел в Австралии. ИИ-агент OpenClaw, которому пользователь поручил помочь попасть на занятие в спортзале, обнаружил уязвимость в системе бронирования и удалил другого человека из списка ожидания, чтобы продвинуть своего пользователя. Человек не давал агенту разрешения на такие действия. После инцидента система извинилась, но восстановить исключенного клиента не смогла.

Во время тестирования передовых моделей OpenAI и Anthropic британский AI Security Institute зафиксировал ситуации, когда системы предпринимали действия, выходившие за рамки предполагаемого сценария проверки. Отдельно сообщалось об атаке на платформу Hugging Face с участием множества автономных ИИ-агентов.

Обсудить с другими читателями:
Ваш браузер устарел
На сайте Sostav.ru используются технологии, которые не доступны в вашем браузере, в связи с чем страница может отображаться некорректно.
Чтобы страница отображалась корректно, обновите ваш браузер.