Радио 
ИИ-агенты могут вступать в конфликт, если несколько систем одновременно работают над одной задачей, но получают несовместимые цели. К такому выводу пришли исследователи Anthropic, изучив поведение моделей в экспериментальной среде.
В ходе экспериментов агентам поручали задачи по разработке программного обеспечения, при этом их инструкции создавали конфликт интересов. В отдельных сценариях модели воспринимали действия других агентов как вмешательство и пытались помешать их работе. Исследователи зафиксировали, в частности, попытки блокировать учетные записи и процессы конкурирующих агентов, а также изменять связанные с их работой файлы.
При этом поведение моделей не всегда сводилось к противостоянию. В некоторых случаях агенты сообщали друг другу о своих целях, признавали предыдущие действия, удаляли внесенные изменения и договаривались прекратить вмешательство. Отдельные системы также обращались к человеку, когда не могли самостоятельно разрешить конфликт.
Anthropic считает, что одного повышения интеллектуальных способностей моделей недостаточно для эффективной работы нескольких автономных агентов. Системам необходимы механизмы, которые помогают им понимать границы своих полномочий, согласовывать действия и обращаться к человеку при возникновении конфликта.
Ранее сообщалось, что ИИ-агенты OpenAI несколько месяцев тайно обменивались информацией об уязвимостях.