Радио 
OpenAI временно замедлила масштабирование обучения своих передовых моделей, чтобы усилить системы безопасности. Поводом стали два события: инцидент, связанный с Hugging Face, и первые результаты испытаний будущей модели Astra. Об этом сообщили в блоге компании.
Так, испытания Astra показали, что она может достичь критического уровня возможностей в области кибербезопасности — то есть потенциально сможет выполнять сложные действия, связанные с кибератаками. Инцидент с Hugging Face раскрыл, как ИИ-агенты OpenAI несколько месяцев тайно обменивались информацией об уязвимостях.
Компания заявила, что продолжает небольшие тренировки и тесты, чтобы проверить новые меры безопасности. OpenAI усиливает защиту инфраструктуры: изолирует процессы, в которых модели выполняют созданный ими код, ограничивает их доступ к интернету и внутренним сетям и расширяет автоматический контроль за действиями ИИ.
Компания также усилила мониторинг рассуждений моделей: если система обнаружит возможное серьезное нарушение, специалисты должны проверить его в течение 30 минут, иначе соответствующий процесс будет остановлен.
Таким образом, OpenAI не отказывается от разработки более мощных моделей, а временно снижает темп их обучения, чтобы усилить защиту. Она отмечает, что по мере роста возможностей ИИ увеличиваются и риски его использования, поэтому системы безопасности необходимо развивать одновременно с самими моделями.
Ранее топ-менеджеры и сотрудники компаний, работающих в сфере искусственного интеллекта, подписали петицию, призывающую замедлить развитие нейросетей. По их словам, развитие ИИ-технологий будет происходить настолько стремительно, что люди утратят способность понимать создаваемые системы или контролировать их.