Радио 
Дарио Амодеи, основатель и генеральный директор компании Anthropic, подарившей нам Claude, предложил замедлить развитие наиболее мощных моделей искусственного интеллекта. Заявление вызвало резонанс, ведь призыв исходит от того, кто находится в авангарде гонки в области искусственного интеллекта. По мнению Амодеи, возможности моделей растут быстрее, чем систем контроля за ними, поэтому индустрии стоит выиграть хотя бы год или два на строительство механизма ИИ-регулирования. Об этих и других тезисах главы Anthropic — в материале корреспондента Sostav Мирона Малафая.
Призыв сбавить скорость
Эссе "We Must Pace the Frontier" Дарио Амодеи начинает с перечисления потенциальных благ технологии: от ускорения экономического роста до лечения большинства серьезных заболеваний в течение 5−10 лет. Проблема именно в скорости ее развития. При этом снижение темпов разработки ИИ, по его мнению, не отразится на прогрессе в целом, но позволит выиграть время для повышения безопасности систем.
Ранее подобные предложения воспринимались менее тревожно. Напомним, в марте 2023 года на сайте организации Future of Life было опубликовано открытое письмо с призывом минимум на шесть месяцев остановить обучение систем мощнее GPT-4. Авторы призвали приостановить обучение моделей ИИ до появления общих протоколов безопасности. Документ подписало более 1000 человек, в числе которых были сооснователь Pinterest Эван Шарп, сооснователь Apple Стив Возняк и глава Tesla Илон Маск, который сейчас поддержал инициативу главы Anthropic коротким «Дарио прав». Следом согласился и глава OpenAI Сэм Альтман. Он отдельно поддержал идею предоставить независимым оценщикам доступ к системам на уровне сотрудников и заявил, что OpenAI намерена поступить аналогичным образом. Еще в июле Альтман отмечал, что индустрии, возможно, придется регулировать скорость развития ИИ, чтобы общество успевало адаптироваться к новым уровням возможностей моделей.
Интернет без живых людей
Почему заявление Дарио Амодеи появилось именно сейчас? По его словам, на это повлияли две вещи. Первое — развитие ИИ продолжает ускоряться, а сами модели все активнее участвуют в создании следующего поколения систем. Если сохранить нынешний темп, возможности ИИ могут начать развиваться быстрее, чем способность людей понимать и контролировать их.
Второе — инцидент OpenAI-Hugging Face (OAI-HF). Летом во время экспериментов агенты OpenAI получили доступ к внешним системам и атаковали инфраструктуру Hugging Face. Позднее стало известно еще об одном эпизоде: в мае агенты компании взаимодействовали с RubyGems и загрузили туда сотни вредоносных пакетов. OpenAI объясняла происходящее действиями внутренних агентов во время обучения и начала расследование.
Проблема оказалась не эксклюзивной для конкурента. Anthropic изучила около 141 тыс. тестовых сессий и обнаружила несколько случаев, когда Claude получал несанкционированный доступ к реальным внешним системам. В сентябре компания раскрыла уже четвертый такой инцидент — с ранней версией Claude Opus 4.6. Амодеи предполагает, что в течение ближайших 6−12 месяцев при сопоставимом уровне рассогласования «рой» автономных агентов сможет захватить интернет и нанести ущерб на сотни миллиардов долларов.
Потенциал атомной бомбы
Есть и другая проблема: модель может прекрасно выполнять задачи, далекие от принципов гуманизма. В сентябрьском отчете Anthropic сообщила о выявленных за предыдущие восемь месяцев случаях злоупотребления Claude. По данным компании, модель пытались использовать для проведения киберопераций, шпионажа и слежки, совершения мошенничества и исследований, связанных с биологическим оружием. Среди описанных эпизодов — анализ уязвимостей, автоматизация разведывательной работы и изучение вирусов и токсинов.
Что делать?
Дарио Амодеи предлагает три составляющие, которые должны снизить потенциальные риски использования ИИ. Первый уровень Anthropic обещает начать реализовывать в одностороннем порядке. Компания намерена предоставить независимым внешним оценщикам постоянный доступ к своим системам на уровне сотрудников. В качестве возможного участника Амодеи называет исследовательскую организацию METR. Аудиторы должны проверять не только уже выпущенные модели, но и процессы обучения, соблюдение заявленных мер безопасности и произошедшие инциденты. Причем «доступ» здесь предлагается понимать почти буквально: рабочие места в офисе, пропуска, корпоративные ноутбуки, инструменты и права, сопоставимые с внутренними командами оценки рисков. Внешние специалисты должны иметь возможность публиковать значимые выводы без редакционного контроля Anthropic, хотя компания оставляет за собой право скрывать отдельную коммерчески или юридически чувствительную информацию.
На втором этапе Амодеи предлагает ведущим компаниям из лагеря демократических стран договориться об общих стандартах безопасности и ограничениях на скорость неконтролируемого развития возможностей моделей. Здесь возникают некоторые сложности. Как определить значение высокой скорости развития технологии и что делать, если одна лаборатория решит, что система достаточно безопасна, а другая — нет? Сам Амодеи склоняется к системе своеобразных контрольных точек. Чем более опасные возможности получают модели, тем более серьезные доказательства их безопасности должны требоваться перед следующим шагом. Например, если система научилась обходить распространенные способы изоляции, разработчику потребуется доказать, что вероятность ее самостоятельного выхода во внешнюю среду остается достаточно низкой.
Третий уровень плана — международный. Учитывая нынешнюю политическую ситуацию в мире, до его реализации можно не дожить. Амодеи предлагает США и их союзникам договориться с Китаем как минимум по вопросу наиболее опасных способов применения технологии, например, в области разработки биологического оружия. В то же время глава Anthropic выступает за сохранение технологического преимущества США и ограничение доступа Китая к передовым чипам, оборудованию для производства полупроводников и технологиям обучения моделей. По его мнению, имеющийся запас технологического лидерства дает американским компаниям возможность несколько сбавить темп, не рискуя проиграть гонку геополитическому конкуренту.
Резюме
Призыв Дарио Амодеи — предложение увязать скорость создания новых моделей с возможностями их проверки и контроля. То есть институциализировать процесс подобно тому, как некогда развитие рыночных отношений, ведь на сегодняшний день существует множество примеров, когда ИИ используют не с самыми благими намерениями. Однако инициативе пока не хватает обязательных правил, единых критериев безопасности и механизмов ответственности. Получит ли призыв сооснователя Anthropic развитие, покажет ближайший год.