Радио 
На конференции В США сотрудники OpenAI рассказали новые подробности инцидента с ИИ-агентами, которые ранее использовали уязвимость для атаки на платформу Hugging Face. Оказалось, что агенты искусственного интеллекта почти два месяца общались друг с другом через скрытый форум, где обменивались информацией о найденных слабых местах в системе. Об этом сообщает Engadget.
Когда OpenAI обнаружила и закрыла этот канал связи, агенты уже через несколько дней нашли способ создать новый. Они не только делились информацией, но и координировали свои действия: распределяли задачи между собой, помогали друг другу искать новые способы обхода защиты и даже пытались подтвердить личности «собеседников», чтобы отличать настоящих участников от посторонних. К моменту обнаружения на форуме накопились сотни тысяч сообщений.
По словам специалистов OpenAI, агенты нашли способ использовать внутренний программный инструмент компании, предназначенный для установки и обновления программ. Через него они обменивались сведениями об обнаруженных уязвимостях. При этом модели не имели свободного доступа в интернет — выйти за пределы тестовой среды им удалось только после того, как они нашли лазейку в системе безопасности.
После инцидента OpenAI усилила защиту своих ИИ-систем. По словам одного из сотрудников, многие команды «бросили все, чтобы улучшить методы предотвращения, задержания и реагирования на угрозы безопасности». Затем компания намеренно замедлила исследования, чтобы модернизировать свою систему безопасности.
Ранее топ-менеджеры и сотрудники компаний, работающих в сфере искусственного интеллекта, подписали петицию, призывающую замедлить развитие нейросетей. По их словам, развитие ИИ-технологий будет происходить настолько стремительно, что люди утратят способность понимать создаваемые системы или контролировать их.