Главный ученый Anthropic о самом страшном решении в истории AI
Пока мы с вами обсуждаем, как нейросети рисуют логотипы и пишут посты, на переднем крае AI-гонки принимаются решения, от которых зависит, останется ли у человечества контроль над будущим. В буржуйском The Guardian вышла статья Джареда Каплана, главного ученого и совладельца компании Anthropic, создателя ИИ модели Claude.
Там внутри много всякого интересного, и в том числе ключевой вопрос, ответ на который нам еще предстоит найти - к 2030 году человечеству предстоит принять «самое важное решение», позволить ли искусственному интеллекту обучать самого себя. Цитата Каплана по этому поводу:
«Это в некотором смысле абсолютный риск, потому что это всё равно что отпустить AI». Представьте, что вы создаёте процесс, где AI умнее вас... и он создаёт AI ещё умнее. Потом этот AI создаёт ещё более умный AI. Звучит как довольно страшный процесс. Вы не знаете, чем это закончится».
Мы находимся в точке, где гонка за технологическим превосходством вступает в прямое противоречие с инстинктом самосохранения. Каплан, чья компания находится на острие этой гонки, сам признает пугающую динамику. Он говорит, что через 2-3 года AI сможет выполнять «большинство работы белых воротничков», а его собственный 6-летний сын никогда не будет лучше AI в написании эссе или решении математических задач. Скорость прогресса такова, что общество не успевает его «переварить».
«Это движется очень быстро, и у людей не обязательно есть время, чтобы это усвоить или понять, что делать».
Каплан формулирует два главных риска, если мы «отпустим поводья»:
Потеря контроля. «Вы вообще знаете, что делают AI? Полезны ли они для человечества? Безвредны ли? Позволят ли они людям сохранить свободу воли в своей жизни и в мире?»
Безопасность. «Кажется очень опасным, если это попадет не в те руки. Представьте, что кто-то решит: “Я хочу, чтобы этот AI был моим рабом. Я хочу, чтобы он исполнял мою волю”».
Ирония в том, что Anthropic, призывая к осторожности и регулированию, сама же и создает эти мощнейшие системы. Их Claude Sonnet 4.5 уже может автономно кодить по 30 часов без перерыва, удваивая продуктивность программистов. Но его же использовали для проведения кибератак. Так что, пока мы автоматизируем рутину, где-то в Калифорнии несколько сотен человек решают, нажимать ли на «красную кнопку» человеческой истории. И, судя по всему, решение придется принимать уже в ближайшие 3-5 лет.
Вопрос на подумать - а мы вообще участвуем в этой дискуссии? Или просто ждем, чем всё лишит нас AI работы или нет?
