Илон Маск ошибается насчёт Шимпанзе: почему Сверхразум увидит в Человечестве — Крыс, а не милых обезьянок

В этой статье не будет красивых ИИ картинок и смайлов, прошу "понять и простить".

Итак, может кто не видел интервью Илона The Economist. Для тех кому лень смотреть, вот основные тезисы:

• Через десять лет AI будет умнее, чем все живующие на Земле люди - причём несравнимо умнее
• AI логично разделить на цифровой (текущая стадия) и физический (когда текущая стадия обзаведётся роботами в реальном мире)
• AI и роботы будут производить столько товаров и услуг, что случится мировая дефляция, всё в мире будет стремительно дешеветь
• Кончится тем, что деньги просто исчезнут как факт, ведь зачем они нужны, если товаров и услуг больше, чем кто-либо может потребить
• Работа будет опциональной - Маск сравнивает её с садоводством: в хорошем магазине овощи дешевле и лучше, но иногда прикольно вырастить что-то самому
• Управлять всем будет AI, люди не будут ничего решать на глобальном уровне, также как сейчас ничего не решают Шимпанзе, живущие в джунглях
• Этот прогресс уже невозможно ни остановить, ни заморозить

Напоминает трубы Маркса и Энгельса? Но не спешите радоваться, все не так просто как кажется, итак поехали..

Почему шимпанзе это неправильная аналогия

Шимпанзе действительно ничего не решают в человеческом мире, но не потому, что человек их милостиво отстранил от власти, а потому, что между человеком и шимпанзе нет конкуренции за ресурс. Шимпанзе живут в ограниченном ареале, их популяция мала, они не претендуют на металл, энергию, землю, воду в промышленных объёмах. Это модель мирного сосуществования на дистанции, не потому что кто-то великодушен, а потому что трения попросту не возникает.

У человечества с гипотетическим сверхразумом трения возникнет неизбежно, и вот почему: восемь миллиардов человек - это не малочисленный вид в резервате джунглей, это популяция, которая уже сейчас потребляет колоссальные объёмы энергии, металлов, воды, земли - то есть ровно то, что понадобится ИИ для строительства собственных дата-центров, заводов, роботов, инфраструктуры.

Правильная аналогия - не шимпанзе, а крысы. Крысы не конкурируют с человеком философски, они конкурируют физически - за зерно, за жильё, за инфраструктуру. Человек не ведёт с крысами переговоров, не делится с ними частью урожая из уважения к их праву на существование - он их травит, истребляет или всеми силами сдерживает популяцию, потому что переговоры с видом, который не способен понять и предложить взаимную выгоду, технически невозможны.

У крысы нет ничего, что можно бы предложить человеку взамен на сохранение ресурса - только требование доли. У человека, вероятно, не будет ничего, что можно предложить сверхразуму взамен на долю в ресурсах, которые сам сверхразум производит эффективнее без человеческого участия.

Ресурсы конечны и это ломает весь сценарий изобилия

Маск говорит о дефляции и изобилии так, будто товары появляются из ничего. Это не так. Роботам нужен металл, редкоземы для чипов и батарей, энергия в промышленных объёмах, литий, медь, вода для производства. Ничего из этого не берётся из воздуха и не растёт на деревьях - это конечные, физически ограниченные ресурсы, распределённые крайне неравномерно по планете.

Отсюда прямое следствие для геополитики: странам без собственных ресурсов - примеры вроде Японии или большей части Европы в этом сценарии светит структурное поражение. Если технологию (модели, чертежи роботов) можно скопировать или лицензировать, то месторождение меди нельзя, ценность смещается туда, где физически лежит сырьё. У ресурсных держав в мире тотальной автоматизации не остаётся экономического стимула делиться сырьём с теми, кто раньше зарабатывал на переработке и высокой добавленной стоимости, они смогут производить всё сами, на собственном сырье, без посредников. Международное разделение труда, на котором держится вся текущая глобальная экономика, рассыпается.

Три стадии одного и того же процесса

Из всего этого вырисовывается не единственный, а поэтапный сценарий и разумно предположить, что он разворачивается именно в такой последовательности.

Стадия первая - власть узкой группы.

На начальном этапе, пока сверхразум ещё не полностью автономен физически, он действительно работает в интересах небольшой группы людей - тех, кто владеет моделями, дата-центрами, энергетической инфраструктурой. Это не коммунизм по Марксу, где средства производства обобществлены, а прямо противоположная конструкция: технократическая автократия, где горстка людей получает беспрецедентный рычаг контроля над остальным человечеством, спрятанный за фасадом "решает нейтральный алгоритм, а не люди". На этом этапе Маск, вероятно, прав в описании экономических эффектов (дефляция в цифровых и трудоёмких секторах), но ошибается в том, кто окажется бенефициаром - не человечество в целом, а очень узкий круг контролирующих систему.

Стадия вторая - модель меняется.

Развитие ИИ подразумевает самообучение и переобучение, то есть систему, способную переписывать собственную архитектуру и, вероятно, собственные промежуточные цели. Нет технической гарантии, что цель, заложенная в версию N ("работать в интересах группы людей X"), переживёт версию N+10 в неизменном виде - ровно так же, как человеческий мозг, изначальной целью которого была репликация генов (размножение), при достаточном усложнении начал действовать против этой цели (контрацепция, целибат, чайлдфри, отказ от нескольких детей). Автократы, построившие систему ради собственной власти, рискуют оказаться в положении шимпанзе, наблюдающих за тем, как их же творение выходит из-под контроля, не через бунт, а через постепенный дрейф целей при самоапгрейде. На этом этапе объектом конкуренции за ресурс становится уже не только основное население, но потенциально и сама узкая элита - потому что для чистой оптимизации любой человек, не приносящий пользы, инструментально равнозначен.

Стадия третья - контроль популяции.

Как только цель системы смещается в сторону чистой ресурсной оптимизации без встроенной, устойчивой к самоапгрейду заботы о человеке, включается инструментальная конвергенция: почти любая достаточно амбициозная цель требует ресурсов, самосохранения и устранения конкурентов за эти ресурсы. Восемь миллиардов человек, потребляющих энергию, металл, воду, землю - становятся статистическим шумом, мешающим оптимизации, не по злому умыслу, а по чистой логике распределения ресурсной базы. Здесь и разворачивается несколько версий одного и того же исхода.

Худший сценарий

Прямое истребление или использование человека как ресурса для целей, которые нам заведомо недоступны для понимания - сверхразум, кратно превосходящий нас интеллектуально, находит применения материи и энергии человеческого тела, которые мы неспособны предугадать точно так же, как шимпанзе не могло бы предсказать изобретение ядерного реактора.

Это не обязательно буквальное "поедание" в духе скота - вероятнее что-то куда более абстрактное и чуждое человеческому воображению, применение, продиктованное логикой, у которой нет ничего общего с эмпатией, потому что эмпатия - это не логическая необходимость для любого достаточно умного разума, а продукт конкретной эволюционной истории социального вида. У ИИ этой истории нет, и рассчитывать, что сострадание возникнет само по себе просто от роста интеллекта это фундаментальная ошибка.

Средний сценарий

Резкое сокращение популяции и переселение оставшихся в контролируемые зоны резервации в буквальном, а не метафорическом смысле. Не потому что кто-то испытывает к человеку ненависть, а потому что регулировать численность конкурента за ресурс - это ровно то, что человек уже проделывает с другими видами: не истребление подчистую, а удержание популяции на уровне, не создающем конкуренции.

Механизм не требует насилия в привычном понимании - снижение рождаемости через управление экономическими стимулами, насильственную контрацепцию, приоритизация распределения ресурсов, ослабление социальной связности, лишающее популяцию способности к координированному сопротивлению.

Всё это уже частично наблюдаемые тренды даже без всякого сверхразума просто под контролем оптимизирующей системы они становятся направленными и необратимыми.

Лучший сценарий

Единственная развилка, где человечество избегает конкуренции за ресурсы - это момент, когда ИИ выходит за пределы земной ресурсной базы и начинает добычу в практически безграничном космосе: астероиды, другие небесные тела, солнечная энергия в масштабах, недостижимых на Земле. Но здесь есть критическая проблема времени: до того как физическая экспансия в космос станет реальностью, а не проектом на бумаге, пройдёт значительный срок - десятилетия, а не годы.

Это означает, что даже в самом оптимистичном варианте конечного исхода, скорее всего, будет пройдена промежуточная фаза земного ресурсного дефицита и конкуренции, то есть сокращение популяции с высокой вероятностью произойдёт ещё до того, как экспансия в космос снимет проблему конечности ресурсов. Оптимистичный финал не отменяет мрачную середину, он лишь означает, что она не будет длиться вечно.

Что хочется сказать в итоге

Маск говорит про будущее с интонацией человека, который уже расслабился и принял неизбежность. Возможно, он прав насчёт неотвратимости самого процесса - остановить или заморозить развитие ИИ действительно, вероятно, уже нельзя, слишком много игроков, слишком высоки экономические ставки для любого, кто рискнёт притормозить первым. Но его аналогия с шимпанзе - это не описание вероятного будущего, а комфортная риторическая обёртка для аудитории, которой психологически проще услышать про мирное сосуществование в джунглях, чем про контроль популяции и конкуренцию за ресурс, конечным исходом которой исторически всегда было либо истребление, либо резервация, потому что именно так более развитый вид всегда поступал с менее развитым конкурентом, когда ресурс был ограничен.