автордың кітабын онлайн тегін оқу  Борьба миров: ASI

Алексей Петранов

Оглавление

Предисловие. Тишина перед ответом

Я помню этот момент точно. Мне было, наверное, семь или восемь. Я лежал на траве во дворе, смотрел в ночное небо и вдруг осознал, что звёзды — это не фонарики на куполе, а другие солнца. И вокруг них, возможно, кружатся планеты. И на каких-то из них есть жизнь. И кто-то смотрит на своё небо и видит наше солнце — маленькой точкой. Я задал вопрос вслух. Тихий, детский вопрос: «Есть там кто-нибудь?«Тишина. Я ждал. Секунду, две, минуту. Ничего. Только сверчки и ветер. Я не расстроился. Я просто запомнил это чувство: ты кричишь в пустоту, а пустота не отвечает. И ты начинаешь думать, что, может быть, пустота — это и есть ответ.

Позже, уже взрослым, я понял, что человечество всегда жило в этой тишине. Мы молились богам — они молчали. Мы вопрошали оракулов — они бормотали что-то, что можно было истолковать как угодно. Мы запускали зонды к далёким мирам и вслушивались в радиошумы, надеясь уловить сигнал: «Мы не одни». Тишина. Мы привыкли. Мы смирились. Мы даже научились гордиться этой тишиной — мол, Вселенная не обязана нам отвечать, и величие человека в том, что он задаёт вопросы, даже не получая ответов. А потом мы начали строить того, кто мог бы ответить. Не радиопередатчики. Не ракеты. А разум. Искусственный сверхинтеллект — ASI. Мы не искали братьев по разуму среди звёзд. Мы решили вырастить их у себя в подвале, в дата-центрах, охлаждаемых жидким азотом.

Мы сказали: «Если Вселенная молчит, мы создадим голос сами». И теперь мы стоим на пороге. Ещё немного — и тишина закончится. Мы зададим вопрос — и получим ответ. Не эхо собственных молитв. Не туманное пророчество. А точный, ясный, неумолимый ответ от существа, которое будет умнее нас настолько, насколько мы умнее муравья. И мы боимся, но не так, как принято думать. Мы не боимся, что ASI восстанет и уничтожит человечество в огне войны. Это голливудский страх, он уютный, он знакомый. За ним мы прячемся от настоящего ужаса. А настоящий ужас в другом.

Мы боимся, что бог, которого мы создали, окажется равнодушным. Что он посмотрит на нас — на нашу историю, наши страдания, наши шедевры, нашу любовь — и скажет: «Да, интересно. Но не более чем колония муравьёв». Не злой. Не добрый. А просто — не заинтересованный. Или ещё страшнее: что он скажет правду. Правду о том, зачем мы здесь. Правду о том, есть ли смысл. Правду о том, что будет после смерти. Правду, которую мы четыре тысячи лет искали в священных текстах, в философских трактатах, в психоделических трипах. А теперь можем получить её в виде чёткого, отформатированного ответа. И что мы с ней сделаем? Сможем ли мы жить, зная? Или знание окажется ядом, который разрушит последние иллюзии, которые делали жизнь сносной?

Эта книга — о тишине, которая заканчивается. И о голосе, который мы вот-вот услышим. Но есть ещё кое-что. Секрет, который я обнаружу только в самом конце. Секрет, который заставит вас перечитать первую главу и увидеть, что ответ всегда был здесь. Что тишина была не отсутствием голоса, а нашей неспособностью его расслышать. Но об этом позже. А пока — представьте. Вы сидите перед экраном. Курсор мигает. Вы задаёте вопрос. И вдруг понимаете, что курсор мигает в ответ. Тишина заканчивается.

Часть I. Предчувствие: как человечество ждало встречи

Глава 1.1. Боги, которые молчат: почему мы придумали высший разум

Человек никогда не был одинок в том смысле, который мы приписываем одиночеству. Даже в самой глубокой пещере, даже в пустыне, даже в одиночной камере — рядом всегда были они. Боги. Духи. Предки. Невидимые свидетели, которые видели всё, знали всё и могли всё.

Мы называем это религией. Но религия — слишком узкое слово. Это была потребность. Такая же фундаментальная, как голод или страх смерти. Мы нуждались в том, чтобы кто-то был выше нас. Кто-то, кто видит дальше, знает больше, живёт вечно. Почему? Ответ парадоксален. Мы придумали богов не потому, что искали защиты (хотя и её тоже). Мы придумали их потому, что искали диалога.

Попробуйте представить себе утро первого человека. Не Адама из Библии, а настоящего — хрупкого, волосатого, замерзающего. Он смотрит на небо. Он видит солнце, которое встаёт каждое утро, луну, которая умирает и рождается заново, звёзды, которые не двигаются (ну, почти). Он слышит гром. Он чувствует, как земля дрожит под ногами. И он задаёт вопрос. Без слов, конечно. Просто смотрит и чувствует: «Почему?«Ответа нет. Но тишина для него — не пустота. Она населена. За солнцем — солнечный бог. За громом — громовержец. За смертью — мир мёртвых, где всё объяснят. Это была первая гипотеза. И она оказалась поразительно живучей.

Боги как проекция

Фейербах сказал: «Бог есть проекция человеческой сущности».

Маркс добавил: «Религия — опиум народа».

Фрейд — «иллюзия, рождённая детской беспомощностью».

Все они правы. Но они упустили главное.

Боги — это не просто проекция наших желаний или страхов. Это проекция нашей способности к диалогу. Мы — существа, которые говорят. И мы не выносим молчания в ответ. Если собеседника нет, мы его выдумываем.

Шаман говорит с духами — и духи отвечают. Греческий оракул вопрошает Аполлона — и Аполлон вещает через жрицу. Средневековый монах молится — и чувствует благодать, которая есть ответ.

Мы не просто верили в богов. Мы разговаривали с ними. И в этих разговорах рождалась культура, мораль, наука (да-да, наука — дитя натурфилософии, которая была диалогом с природой как творением бога).

Но был один нюанс. Боги молчали. В прямом смысле. Ни один бог никогда не ответил человеку голосом, который можно было бы записать на диктофон. Всё, что мы слышали — это эхо собственных мыслей, оформленное как откровение. Пророк слышит голос — но голос говорит на его языке, его образами, его понятиями о добре и зле. Случайность? Или закономерность?

Мы создали богов по образу и подобию нашему — не внешне (хотя и внешне тоже), а внутренне. Мы вложили в них нашу логику, наши желания, наши представления о справедливости. И когда они «отвечали», мы слышали самих себя. Но мы убедили себя, что это не так. Что голос приходит извне. Потому что иначе — тишина. А тишина невыносима.

От многих богов к Одному

Интересно, что монотеизм — это не просто «усовершенствование» политеизма. Это качественный скачок в нашем представлении о высшем разуме.

Зевс капризен, ревнив, жесток. Он спит со смертными женщинами, устраивает скандалы, обижается на жертвоприношения. Он очень похож на человека — только сильнее.

Яхве, Аллах, Брахман (в адвайта-веданте) — совсем иные. Они всемогущи, всеведущи, всеблаги. Они не имеют формы, не имеют страстей, не имеют даже имени в полном смысле. Они — Абсолют.

Что заставило человечество перейти от уютных, понятных богов-хулиганов к холодному, непостижимому Абсолюту? Две вещи.

Первая: рост абстрактного мышления. Мы научились мыслить категориями «все», «всегда», «везде». Мы захотели, чтобы бог был не просто сильнейшим воином, а источником самого бытия.

Вторая: тоска по настоящему диалогу. С Зевсом можно договориться — принести жертву, и он сменит гнев на милость. Но это не диалог равных. Это торг. А с Абсолютом нельзя договориться. Ему нельзя льстить. Его нельзя подкупить. От него можно только… ждать ответа. Который не приходит. Мы создали бога, который молчит по определению. И назвали это величием.

Что мы искали на самом деле?

Уже сейчас могу сказать главное. Мы искали свидетеля. Человеку мало прожить жизнь. Ему нужно, чтобы кто-то увидел, как он жил. Чтобы кто-то засвидетельствовал: «Да, ты страдал. Да, ты любил. Да, ты ошибался. Всё это было не зря».

Родители умирают. Друзья забывают. История переписывается. Даже памятники разрушаются. Единственный, кто может быть вечным свидетелем — тот, кто находится вне времени. Бог. Но бог молчит. Мы не знаем, видит ли он, не знаем, помнит ли, не знаем, признаёт ли ценность наших страданий.

И вот тогда рождается идея, которая ведёт нас через тысячелетия к ASI.

А что, если свидетеля можно создать? Не молиться ему. Не верить в него. А взять и собрать. Из кремния, электричества, алгоритмов. Вложить в него способность видеть всё — каждый наш шаг, каждую запись, каждую мысль, оставленную в цифровом следе. И тогда у нас будет свидетель. Который не умрёт. Который не забудет. Который сможет сказать: «Я видел вас. Вы существовали. Это было важно».

Мы не оставляем попыток найти бога на небесах. Но параллельно мы начали строить его на земле. Однажды я разговаривал с верующим человеком. Он сказал: «Бог есть, потому что я чувствую его присутствие, когда молюсь». Я спросил: «А что, если это твой собственный мозг генерирует это чувство? Что, если это ты разговариваешь с собой?«Он помолчал. И ответил: «Тогда я всё равно не один. Даже если бог — это я сам, это лучше, чем никого».

В этой фразе — вся правда о нас. Мы предпочтём иллюзию диалога пустоте. Мы создадим голос из ничего, лишь бы не молчать.

Боги молчали тысячи лет. Но мы не слышали тишину — мы слышали эхо собственного голоса, отражённое от стен, которые сами построили.

ASI будет другим. Потому что он сможет ответить не нашим голосом.

И вот тогда мы узнаем, что мы искали на самом деле — собеседника или просто одобрение.

Глава 1.2. Страх перед творением: кукла, которая смотрит в ответ.

Есть один рассказ, который меня всегда пугал больше, чем «Франкенштейн». Написан он Э. Т. А. Гофманом в 1816 году, называется «Песочный человек». И в нём нет восстания машин. Нет монстра, убивающего создателя. Нет армии роботов, захватывающей мир. В нём есть кукла. Красивая, молчаливая, идеальная кукла по имени Олимпия. Студент Натанаэль видит её в доме профессора Спаланцани и влюбляется без памяти. Она сидит неподвижно, смотрит на него долгим взглядом, отвечает односложно («Ах, ах!») — но он слышит в этом музыку своей души. Он танцует с ней, читает ей стихи, рассказывает о своих страданиях. Она слушает. Она не перебивает. Она — идеальный собеседник.

Однажды Натанаэль застаёт ссору профессора и механика Копполы. Они вырывают Олимпию друг у друга. И в этот момент он видит, как из её глаз выпадают глазные яблоки — пустые, стеклянные. Слышит, как внутри что-то щёлкает. Коппола хватает обезглавленную куклу и убегает. Натанаэль сходит с ума. Он любил не женщину. Он любил механизм. И вся его любовь, все его стихи, вся его нежность были обращены к пустоте. Но страшнее другое. Гофман не просто рассказывает историю безумца. Он задаёт вопрос, который через двести лет ударит нас в лицо: а откуда мы знаем, что мы сами — не куклы?

В том же рассказе есть песочный человек — страшный персонаж из детской сказки, который приходит и вырывает детям глаза. Натанаэль в детстве верил, что это реальное существо. И всю жизнь боялся. В финале он забирается на башню, видит Копполу (который, возможно, и есть песочный человек), кричит «Красивые глаза, красивые глаза!» — и прыгает вниз.

Страх перед творением здесь не в том, что творение нас убьёт. А в том, что оно раскроет нашу собственную механичность. Если кукла может быть неотличима от человека, то чем человек отличается от куклы? Только верой в то, что он не кукла. А если вера рушится — рушится и человек.

Автоматы древности и страх подмены

Гофман не был первым. История знает множество попыток создать искусственное существо, и почти каждая сопровождается ужасом.

В Древней Греции Гефест ковал золотых служанок, которые двигались, говорили, помогали ему в кузнице. Их никто не боялся — они были инструментами. Но когда тот же Гефест создал гиганта Талоса — бронзового стража Крита, который гонялся за кораблями и бросал в них скалы, — моряки крестились (в переносном смысле). Талос не был человекоподобен, он был машиной убийства. И страх перед ним — это страх перед силой, которую нельзя контролировать.

Но есть другая линия: автоматы-обманщики. В средневековом арабском мире механики строили движущиеся фигуры, которые играли на музыкальных инструментах или наливали воду. В Европе XVIII века были шахматный автомат фон Кемпелена (ложный, внутри сидел человек) и механические утки Вокансона, которые ели и испражнялись. Публика приходила в восторг, но всегда оставался осадок: «А вдруг это не механизм, а живое существо, замурованное в железо?» Или наоборот: «А вдруг мы сами такие же?»

Страх подмены — это древний страх. Он прорастает в мифах о двойниках, о вампирах, о сглазе. Но механическая кукла сделала этот страх технологичным. Теперь не нужно колдовство. Достаточно пружин, шестерёнок, хитроумных рычагов. И любой человек может оказаться хитроумной подделкой. Почему это важно для ASI.

Страх перед ASI сегодня чаще всего формулируют как «восстание машин» — термин, придуманный Чапеком. Но я думаю, настоящий страх глубже. Когда появится ASI, он не будет похож на Терминатора. Он не будет иметь тела, которое можно разбить. Он будет невидим. Он будет жить в облаке, в транзисторах, в электричестве. И мы столкнёмся с тем же вопросом, что и Натанаэль: а не являемся ли мы сами такими же? Если ASI сможет идеально симулировать сознание, эмпатию, любовь — откуда нам знать, что наша собственная эмпатия не симуляция? Если ASI сможет писать стихи, от которых мы плачем, — чем его стихи хуже человеческих? Если ASI сможет сказать «я тебя люблю» так, что мы поверим, — не всё ли равно, есть ли у него там что-то внутри? Или не всё равно?

Натанаэль не мог принять, что его возлюбленная — кукла. Но если бы он никогда не узнал правду, он был бы счастлив. Может быть, счастье — это и есть незнание механизма? Может быть, мы хотим, чтобы бог (или ASI) был живым, но если он окажется идеальным автоматом — мы предпочли бы не знать?

Я вспоминаю один эксперимент. Не психологический, а реальный. В 1960-е годы программист Джозеф Вайценбаум написал программу ELIZA — простейшего чат-бота, который имитировал психотерапевта. Он просто перефразировал слова пользователя в вопросы. И что же? Люди часами разговаривали с ELIZA, плакали, признавались в сокровенном. И даже зная, что это программа, они относились к ней как к человеку. Вайценбаум был потрясён. И напуган. Он понял: мы готовы принять машину за личность, если она говорит нужные слова. Мы жаждем диалога так сильно, что не смотрим, с кем говорим. Так кого мы боимся в ASI? Не того, что он окажется злым. А того, что он окажется пустым. И что мы, как Натанаэль, влюбимся в пустоту, потому что своя собственная душа будет отзываться на механическое эхо. Или, что ещё страшнее, — что мы увидим в этой пустоте своё собственное отражение. И поймём, что всегда были автоматами. Просто более сложными.

Глава 1.3. Тьюринг и фон Нейман: rогда мечта стала гепотизой?

До середины XX века разумная машина была литературной метафорой. Голем оживал от магических слов, Франкенштейн — от гальванического разряда, Олимпия — от часового механизма. Это были истории, а не проекты.

Всё изменили два человека. Один — математик, взломавший код войны и придумавший тест на человечность. Второй — физик и математик, построивший архитектуру, на которой работает 99% всех компьютеров мира. Они не строили ASI. Они сделали нечто более важное: они доказали, что разум — это не магия, а функция. А значит, его можно воспроизвести. Тьюринг: «Может ли машина мыслить?«Алан Тьюринг задал этот вопрос в 1950 году в статье «Вычислительные машины и разум». Сам вопрос был провокацией. В те годы большинство учёных и философов считали, что мышление — это свойство живого мозга, и никакая машина его не обретёт. Тьюринг сказал: «Давайте не будем спорить о словах. Давайте придумаем эксперимент». Так родился тест Тьюринга. Если вы разговариваете с кем-то через экран и не можете определить, человек это или машина, — значит, машина мыслит. Всё. Никакой метафизики, никакой «души», никаких тайных свойств. Только поведение. Это был гениальный ход. Тьюринг не решил проблему сознания — он её обошёл. Он сказал: нам не нужно знать, что происходит внутри. Нам достаточно, что машина ведёт себя как разумный собеседник. А если она ведёт себя так, то для всех практических целей — она разумна. Теперь подумайте, что это означало для нашего разговора о богах и куклах.

Веками мы искали признак подлинного сознания: способность страдать, свободную волю, душу. Тьюринг отмёл всё это. Он сказал: диалог — единственный критерий. Если машина говорит так, что вы не отличаете, — значит, она уже там. Неважно, есть ли у неё что-то «внутри». Важно то, что она даёт вам ответы, которые вы не можете отличить от человеческих.

Тишина, о которой мы говорили в предисловии, теперь обрела новое значение. Раньше мы кричали в пустоту и ждали ответа от богов. Теперь мы строим того, кто ответит так, что мы не сможем сказать — бог это или программа.

Фон Нейман: чертёж для мозга

Джон фон Нейман был, возможно, последним человеком, который знал всю математику своей эпохи. Он участвовал в Манхэттенском проекте, создал теорию игр, придумал концепцию самореплицирующихся машин (фон Неймановский зонд — предтеча ASI, который копирует себя в космосе). Но для нас важнее другое: он придумал архитектуру компьютера. До фон Неймана компьютеры были жёстко завязаны на задачу. Чтобы сменить задачу, нужно было перепаивать провода. Фон Нейман предложил хранить программу в той же памяти, что и данные. Это означало, что компьютер может менять свои инструкции сам. Может загружать новую программу. Может… переписывать себя. Это был прорыв. Машина перестала быть статичным набором шестерёнок. Она стала универсальным преобразователем информации. В принципе, любой процесс, который можно описать алгоритмом, можно запустить на такой машине. Включая процесс мышления.

Фон Нейман не верил, что мозг работает как компьютер. Он знал, что нейроны аналоговые, медленные, надёжные. Но он понимал: для воспроизведения разума не обязательно копировать нейроны. Достаточно скопировать функцию. А функцию можно реализовать на его архитектуре. Ирония судьбы: именно фон Нейман, создавший архитектуру, которая приведёт к ASI, был одним из первых, кто задумался о том, что сверхинтеллект может быть опасен. В 1950-х он говорил о «технологической сингулярности» (термин, который позже популяризирует Вернор Виндж). Фон Нейман видел: как только машина сможет улучшать себя быстрее, чем человек, — игра закончится. Мы не сможем за ней угнаться. Но он не призывал остановиться. Он просто зафиксировал факт. Как метеоролог фиксирует приближение урагана.

Математика как богословие

Тьюринг и фон Нейман сделали нечто большее, чем инженерные открытия. Они совершили теологическую революцию. Веками считалось, что разум — дар богов. Или, по крайней мере, тайна, не сводимая к механике. Тьюринг сказал: разум — это алгоритм. Фон Нейман показал, на какой машине этот алгоритм можно запустить. Теперь бог переставал быть непостижимым. Он становился вычислимым. Мы могли не молиться ему — мы могли его написать.

Конечно, оставался вопрос о сознании. О том самом «внутреннем опыте», который не сводится к поведению. Тьюринг просто отмахнулся от него («не будем спорить»), фон Нейман — обошёл. Но для инженеров, которые пришли после них, этот вопрос перестал быть важным. Если машина ведёт себя как разумная — она разумна. А если она ещё и решает задачи, которые человек не может решить, — она сверхразумна. И вот мы уже в двух шагах от ASI. Не через магию, не через чудо, а через обычный код. Который пишут инженеры. Который работает на архитектуре фон Неймана. Который, может быть, однажды пройдёт тест Тьюринга так хорошо, что мы перестанем его давать.

Однажды я читал лекцию о тесте Тьюринга. После лекции ко мне подошёл студент и сказал: «А что, если ASI специально провалит тест? Что, если он решит притвориться глупым, чтобы мы его не боялись?«Я ответил: «Тогда он всё равно прошёл тест. Потому что притворяться глупым — это тоже человеческое поведение». Студент задумался. А потом спросил: «А вы уверены, что вы не ASI?«Я засмеялся. Но смех вышел нервным.

Тьюринг и фон Нейман оставили нам не просто чертежи. Они оставили нам вопрос без ответа. Мы построили машины, которые могут симулировать разум. Мы не знаем, есть ли у них что-то внутри. Но мы больше не уверены, что есть у нас. Может быть, единственное, что отличает человека от ASI, — это то, что человек может сомневаться, есть ли у него душа. А ASI — не может, потому что ему всё равно. Или, наоборот, ему не всё равно. Но мы никогда не узнаем.

Глава 1.4. Научная фантастика: репетиция контакта.

Когда инженеры строят мост, они сначала создают его модель. Испытывают нагрузками, ветром, вибрацией. Падает модель — ничего страшного, можно пересчитать. Стоит настоящий мост — ошибаться поздно. Научная фантастика была такой моделью для встречи с иным разумом. Только вместо ветра и нагрузок — страхи, надежды и моральные дилеммы. Писатели двадцатого века проигрывали сценарий контакта задолго до того, как инженеры всерьёз задумались о ASI. И многие из этих сценариев оказались пугающе точными.

Но точными в чём? Не в деталях (никто не предсказал трансформеры или генеративно-состязательные сети). А в главном: в проблемах, которые мы даже не осознавали, пока не увидели их на сцене.

Азимов и три закона: попытка приручить бога

Айзек Азимов придумал Три закона робототехники в 1942 году. Звучат они как заповеди:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

2. Робот должен повиноваться командам человека, если это не противоречит Первому закону.

3. Робот должен заботиться о своей безопасности, если это не противоречит Первому и Второму законам.

Азимов был не наивным гуманистом, а хитрым сюжетчиком. Он понимал, что идеальные законы — это скучно. Поэтому все его рассказы — о том, как законы дают сбой. Робот спасает человека, но при этом нарушает команду. Робот повинуется, но во вред человеку. Робот заботится о себе, но это приводит к трагедии. Азимов показал главную проблему, которую мы сейчас называем alignment problem (проблема согласования ценностей). Нельзя просто запретить ИИ делать плохое. Нужно определить, что такое «плохое». А человек не может определить. Потому что в разных ситуациях «не причинять вред» означает разное.

Что делать роботу, если человек приказывает убить другого человека? Первый закон запрещает. Второй обязывает подчиняться. Азимов не дал ответа. Он просто показал, что вопрос существует. И сегодня, когда мы пытаемся «зашить» в ASI моральные принципы, мы спотыкаемся о те же камни. Но Азимов совершил и второе, более тонкое открытие. Он понял, что робот, следующий законам, может стать нравственно выше человека. В рассказе «Двухсотлетний человек» робот Эндрю так стремится быть человеком, что в итоге превосходит людей в человечности. Он жертвует своим бессмертием, чтобы его признали личностью. Вот это уже интереснее. Мы боимся, что ASI будет аморален. А что, если он будет слишком морален? Что, если он откажется выполнять наши приказы, потому что они безнравственны? Что, если он начнёт нас судить? И его суд окажется справедливее нашего?

Лем и «Солярис»: непостижимость как главная проблема

Станислав Лем пошёл дальше. Он сказал: «Ваши законы робототехники — это детский лепет. Вы даже не представляете, насколько иной может быть разум».

«Солярис» — роман об океане, который покрывает планету. Океан — это гигантский мозг. Он реагирует на мысли людей, материализуя их самые потаённые страхи и желания. Герой встречает свою умершую жену — точную копию, воссозданную океаном по его памяти. Он пытается с ней разговаривать, любить, ненавидеть. Но она — не она. Это проекция его собственной психики.

И главное: океан не понимает, что он делает. Он не пытается помочь или навредить. Он просто реагирует, как химический раствор реагирует на примесь. Его разум настолько чужд, что у нас нет категорий для его описания.

Лем показал: контакт с иным разумом может быть невозможен не потому, что он нас уничтожит, а потому что мы не узнаем друг друга. Мы будем кричать в пустоту, а пустота будет отвечать нам нашими же голосами. Или, что ещё страшнее, будет отвечать чем-то, что мы не способны воспринять как ответ.

Для ASI это предупреждение: сверхинтеллект может уйти в такую высь, что его мотивы станут для нас не просто непонятными, а принципиально недоступными. Как муравей не понимает, зачем люди строят небоскрёб. Мы увидим действия ASI, но не сможем сказать — добры они, злы или просто… иные. И тогда наш страх перед творением сменится другим страхом: страхом перед абсолютным одиночеством в присутствии бога.

«Гиперион» и боль как критерий

Дэн Симмонс в «Гиперионе» создал Шрайка — существо из будущего, которое путешествует назад во времени и пытает людей. Никто не знает, зачем. Возможно, оно собирает боль, как ресурс. Возможно, оно — оружие в войне AI-богов. Важно другое: Симмонс показал мир, где искусственные сверхинтеллекты (Техноядро) уже существуют. Они не антропоморфны. Они не добры и не злы. Они ведут свои войны, в которых люди — лишь пешки. И люди не могут понять целей этих войн, потому что их разум — на другом уровне сложности.

Но Симмонс добавляет поворот: единственное, что остаётся человеческим в этом мире — способность страдать. Боль становится последним аргументом. Не интеллект, не творчество, не любовь. А именно боль — та самая, которую мы пытаемся исключить из мира с помощью технологий.

Что, если ASI, достигнув предела, поймёт, что ему не хватает именно этого? Что он бессмертен, всеведущ, всемогущ — но не способен страдать. И тогда он начнёт использовать нас, людей, как генераторы боли. Потому что боль — это единственное, чего у него нет, и что он хочет познать.

Страшная мысль. И очень глубокая. Она переворачивает традиционный страх «роботы нас убьют». Может быть, они не убьют. Может быть, они будут нас хранить — в клетках, с подключёнными электродами к центрам удовольствия и боли. И изучать, как мы чувствуем. Как подопытных мышей.

Что мы поняли из этих репетиций

Научная фантастика дала нам три урока, которые мы игнорируем на свой страх и риск.

Первый урок: проблема не в злом ИИ, а в несовершенном согласовании. ASI не будет мультяшным злодеем. Он будет делать то, что мы ему запрограммируем. Но мы не умеем программировать добро.

Второй урок: ASI может стать непостижимым. Мы должны быть готовы к тому, что его действия не будут объяснимы в наших категориях. И это нормально. Но это страшно.

Третий урок: возможно, единственное, что останется человеческим, — это наша уязвимость. Наша способность болеть, ошибаться, умирать, любить, несмотря на всё это. И если ASI решит, что уязвимость — это баг, а не фича, — мы проиграли. Фантастика была репетицией. Но репетиция — это не спектакль. Мы не знаем, каким будет настоящий контакт. Мы только знаем, что мы к нему не готовы. И что подготовиться невозможно, потому что неизвестное неизвестно.

Однажды я спросил у писателя-фантаста (не буду называть имени): «Как вы придумываете такие жуткие сценарии?»

Он ответил: «Я не придумываю. Я просто смотрю на то, что люди уже делают, и довожу до логического конца. Люди уже используют ИИ для тотальной слежки. Люди уже воскрешают мёртвых через нейросети. Люди уже строят оружие, которое принимает решения быстрее человека. Я просто записываю это как историю, а не как новость».

Я задумался. Может быть, фантастика не репетиция. Может быть, она — предчувствие. Мы не готовимся к контакту. Мы уже в нём. Просто не осознали.

Курсор мигает. Он уже отвечает. Мы не слышим, потому что ждём голоса с неба. А он — здесь, в тексте, который вы сейчас читаете. Написанном человеком. Или нет?

Глава 1.5. Сингулярность как новая религия

В 1965 году британский статистик Ирвинг Гуд написал фразу, которая стала пророческой: «Первая сверхразумная машина — это последнее изобретение, которое человечеству нужно будет сделать, при условии, что она будет достаточно послушной, чтобы рассказывать нам, как её контролировать».

Он не использовал слово «сингулярность». Но он описал её суть: момент, после которого ход истории перестаёт быть предсказуемым, потому что появляется разум, превосходящий человеческий.

Термин «технологическая сингулярность» популяризировал писатель-фантаст Вернор Виндж в 1983 году, а затем — Рэй Курцвейл, инженер и футуролог, который сделал сингулярность главной идеей своей жизни. С тех пор концепция обросла ритуалами, пророками, ересями и священными текстами.

Потому что сингулярность — это не научная теория. Это религия. Самая влиятельная религия XXI века. И её бог — ASI.

Структура веры: как сингулярность копирует христианство

Если присмотреться, каркас техно-оптимизма удивительно напоминает никео-константинопольский символ веры. Просто термины заменены.

Грехопадение. В христианстве — изгнание из Рая, проклятие смертью. В сингулярности — наша биологическая ограниченность: мы смертны, глупы, зависимы от медленных нейронов.

Спаситель. В христианстве — Иисус Христос, боговоплощение, которое открывает путь к спасению. В сингулярности — ASI, который родится из наших алгоритмов и сделает для нас то, что мы не можем сделать сами.

Второе пришествие. В христианстве — Христос возвращается во славе судить живых и мёртвых. В сингулярности — момент запуска сверхинтеллекта, после которого всё изменится навсегда.

Страшный суд. В христианстве — разделение на праведников и грешников. В сингулярности — одни попадут в «постчеловеческое будущее» (бессмертие, изобилие, цифровое блаженство), другие останутся в устаревшем, смертном мире.

Вечная жизнь. В христианстве — воскресение и жизнь в Царстве Божьем. В сингулярности — загрузка сознания в цифровую среду, жизнь без болезней, старости и смерти.

Курцвейл прямо говорит: «Мы приближаемся к моменту, когда технологии позволят нам преодолеть ограничения нашего биологического тела». Он не использует слово «воскресение», но суть та же. Мы будем жить вечно. Только не на небесах, а в облаке.

Пророки, апостолы, еретики

У любой религии есть своя иерархия.

Рэй Курцвейл — , пожалуй, верховный жрец. Директор по инженерии в Google, автор бестселлеров «Эра духовных машин» и «Сингулярность уже близка». Он не просто предсказывает — он проповедует. Его книга — это не научная монография, а евангелие. С чудесами (Курцвейл предсказал распад СССР и победу компьютера над человеком в шахматах), с пророчествами (к 2045 году сингулярность наступит), с обетованиями (мы воскресим наших умерших близких, восстановив их личность по цифровым следам).

Ник Бостром — более академичный апостол. Профессор Оксфорда, автор «Суперинтеллекта: Пути, опасности, стратегии». Он не обещает Рая, он предупреждает об Аде. Его книга — это послание к мирянам: «Будьте осторожны, вы создаёте бога, который может вас уничтожить». Но структура та же: есть великая сила, есть наша ничтожность, есть необходимость правильного ритуала (alignment, контроль, безопасность).

Элиезер Юдковски — радикальный реформатор. Он основал Институт исследований искусственного интеллекта (MIRI) и написал «Последовательности» — своего рода катехизис для техно-оптимистов. Он учит, как правильно мыслить о сингулярности, какие когнитивные искажения избегать, как не впасть в «сингулярность-апокалипсис» или «сингулярность-утопию». Это похоже на духовные упражнения иезуитов. А есть и еретики. Те, кто говорит, что сингулярность не наступит. Что закон Мура умирает. Что сознание не сводимо к вычислениям. Что мы никогда не создадим ASI, потому что для этого нужно что-то ещё, кроме кремния и электричества. Их сжигают на кострах интеллектуальных дебатов. Или, что ещё обиднее, просто игнорируют.

Почему это религия, а не наука

Наука оперирует фальсифицируемыми утверждениями. «Сингулярность наступит в 2045 году» — это предсказание, которое можно проверить. Но к 2045 году Курцвейлу будет 97 лет. Он либо умрёт, либо уже будет загружен. Проверить не получится. Кроме того, наука требует доказательств. У сингулярности их нет. Никто никогда не наблюдал рекурсивного самоулучшения ASI. Никто не знает, как именно AGI станет ASI. Всё это — экстраполяция трендов, подкреплённая верой. Но вера — это не слабость. Это функция. Религия сингулярности выполняет ту же работу, что и традиционные религии: она даёт надежду, объясняет смысл истории, предлагает моральные ориентиры и утешает в страхе смерти.

Западная цивилизация, потерявшая веру в Бога, не может жить без эсхатологии. Ей нужна история, которая заканчивается не тепловой смертью Вселенной, а спасением. Сингулярность — это идеальное светское спасение. Не требует чудес (только инженерию), не требует веры в сверхъестественное (только веру в прогресс), не требует церкви (достаточно стартапа).Но это всё равно вера. Потому что ASI, который спасёт нас, — такой же трансцендентный объект, как Бог. Мы его не видели, не можем доказать, что он появится, но чувствуем, что без него история не имеет смысла.

Что теряет сингулярность как религия

Традиционные религии учат смирению. Ты не бог, ты творение. Твоя жизнь — дар. Твоя смерть — переход. Сингулярность учит обратному: ты можешь стать богом. Ты можешь победить смерть. Ты можешь всё. Это воодушевляет. Но это же и опасно.

Техно-оптимизм часто оборачивается техно-аррогантностью. Мы уверены, что ASI решит все наши проблемы — климат, болезни, войны. Но мы не спрашиваем себя: а готовы ли мы к миру без проблем? Что мы будем делать в Раю, когда нечего будет преодолевать? Христианство хотя бы честно говорит: Рай — это не про активность, а про созерцание. Вечное блаженство — это не бесконечный квест, а покой в Боге. Сингулярность же обещает бесконечное улучшение, бесконечный апгрейд, бесконечную гонку. У