Оглавление

«Вы истребляете муравьев не потому, что ненавидите их, — они просто вам мешают».

Стивен Хокинг

«Начиная с определенной точки, возврат уже невозможен. Этой точки надо достичь».

Франц Кафка

«Только дурак нуждается в порядке — гений господствует над хаосом».

Альберт Эйнштейн

Пролог.
Где-то на краю земли, где живут драконы

Где-то на краю земли, там, где встречаются суша и вода, возможно, даже на крохотном острове, окруженном бескрайними просторами моря, где все еще живут драконы, прямо на обрыве пожелтевших от времени скал стоит маленькое кафе. Его стены, окрашенные в нежные оттенки голубого и зеленого, отражают красоту моря и неба, а черепичная крыша, согретая ласковым солнцем, навевает мысли о душевном тепле и гостеприимстве.

От кафе открывается вид на море, которое, кажется, сливается с небом на горизонте, образуя бесконечную даль пространства, замыкающегося и отражающегося в себе. Над этим океаном цвета индиго парят белые чайки, а их крики словно складываются в песню моря. Где-то далеко внизу, под обрывом находится невидимый отсюда небольшой причал, к которому пришвартованы маленькие разноцветные лодки.

Внутри кафе царит атмосфера спокойствия и умиротворения. Плетеные стулья и потертые кресла с обивкой из светлой ткани стоят вокруг столиков из натурального дерева. Как и во всех прибрежных кафе, на стенах висят картины с морскими пейзажами, хотя, казалось бы, выйди за дверь — и вот оно, море. В воздухе витает аромат кофе и свежей выпечки, что добавляет ощущения домашнего уюта. Но в кафе нет людей, кроме одного посетителя, сидящего в углу за столиком и смотрящего в окно, а не на белоснежный лист бумаги, заправленный в печатную машинку.

Тихая музыка играет на фоне, словно шепот волн, успокаивая и расслабляя. Несмотря на то что кафе находится на самом краю обрыва, его пол сделан из прочного материала, чтобы обеспечить безопасность посетителей.

— Олимпия, измени, пожалуйста, последнюю фразу. Она выбивается из стиля повествования.

— Хорошо, Натан, спасибо. Меняю.

Несмотря на то что кафе действительно находилось на самом краю обрыва, Натан Хольм, тридцатипятилетний специалист по когнитивистике, журналист и писатель, автор бестселлера «То, что не сделает нас сильнее», не чувствовал опасности. Наверное, дело было все-таки в напольном покрытии из прочного материала. А может быть, он просто не думал об этом, так как был занят размышлениями о своей рукописи.

Натан повернулся и сообщил отсутствующему бармену:

— Мне кажется, я должен попытаться рассказать эту историю с самого начала. Точнее, не прямо с самого начала, потому что в таком случае мне пришлось бы рассказать и о том, как погибла моя жена Эмилия, а с того момента, когда я открыл новостной сайт и прочитал заметку о компании ATWAY, которая из соображений безопасности перенесла свой центр разработки искусственного интеллекта в изолированный от внешнего мира научный комплекс, затерянный в Тихом океане. Куда-то совсем на край земли, в место, где встречаются вода и суша и где все еще живут драконы…

6 месяцев до сингулярности

«Скорее всего, ИИ приведет к концу света, но до этого появятся великие компании».

Сэм Альтман,
глава компании OpenAI

Это должно было быть самым обычным собеседованием. За время своей работы на различные корпорации Натан Хольм привык ко всяким собеседованиям, но компания ATWAY его удивляла с самого начала. В ее офисе все было автоматизированным и настолько высокотехнологичным, что вплоть до последнего этапа своего соискательства он не встретился ни с одним живым человеком. Вот и сейчас он сидел в просторной, светлой и идеально чистой переговорной. Совершенно один. Стеклянная стена открывала эффектный вид на традиционный пейзаж тихоокеанского побережья: небоскребы, пальмы, маленькие машинки внизу. Они или стоят, припаркованные у домиков семизначной цены, или ездят туда-сюда. Натан подумал, что этот пейзаж настолько ординарен и вполне может быть генерацией, поэтому отвернулся от окна и стал разглядывать переговорную комнату. Повсюду здесь висели камеры, он насчитал четыре штуки и был уверен, что их тщательно рассчитанные углы обзора полностью перекрывают все пространство — спрятаться тут негде и бежать некуда.

Он сидел и уже пятую минуту ждал, когда начнется собеседование. Сюда он попал через автоматический бокс с электронными замками, открыв их карточкой, которую вчера ему привез симпатичный робот-доставщик. Все роботы-доставщики в этом городе улыбчивые и милые, несмотря на то что у них колеса вместо ног и электронная панель вместо лица, подумал Натан. Он хотел поговорить с доктором Рамачандряном — руководителем компании ATWAY, но теперь уже не был уверен в том, что этот разговор вообще состоится…

Наконец на стене включился экран, и обаятельная девушка приветливо улыбнулась Натану.

— Добро пожаловать в ATWAY, господин Хольм! — сказала она.

— Здравствуйте, — спокойно ответил Натан. — Мы уже начали собеседование?

— О да! — с восторгом ответила девушка. — Мы уже семь минут тридцать четыре секунды пишем вашу телеметрию, и вы прошли в третий раунд! Это отличный результат, и нам осталась сущая формальность — всего пара вопросов.

— Очень интересно, — сказал немного заинтригованный Натан. — То есть у меня есть шанс пройти собеседование, сказав всего одно слово — «здравствуйте»?

— Уже нет, — с легким огорчением произнесла девушка. — Ведь вы уже сказали целых девятнадцать слов после приветствия! Но давайте приступим к вопросам?

— Хорошо, я вас слушаю.

— Это вы должны задать нам свои вопросы, Натан. Мы про вас и так все знаем. Абсолютно все, что нам нужно! — все так же лучезарно улыбаясь, ответила девушка.

— Отлично. Раз так, то могу я надеяться пообщаться с доктором Эркюлем Рамачандряном?

— Это не вопрос, а просьба, — тактично отметила девушка. — Но я отвечу, что пока нет. В том случае, если вы пройдете собеседование, вы, конечно же, пообщаетесь с доктором Рамачандряном.

— Как расшифровывается название вашей компании?

— Очень просто. ATWAY — это аббревиатура: All Those Worlds Are Yours. Все эти миры ваши.

— Космическая одиссея?

— Вы очень начитаны, Натан! — вновь просияла девушка.

— Спасибо. А в вашем офисе есть хоть один живой человек?

— У вас какая-то проблема, Натан? Я могу вызвать многофункционального робота-ассистента…

— Нет, спасибо. Я просто хотел уточнить…

— Еще вопросы, Натан?

— Хорошо, тогда еще один, последний вопрос, если позволите.

— Конечно, Натан!

— Ваша компания не так давно заявила, что планирует перенести центр разработки искусственного интеллекта на один из необитаемых островов в Тихом океане. Насколько я понимаю, это делается из соображений безопасности. Вы считаете, что настолько близки к тому, чтобы открыть что-то потенциально опасное для всего человечества?

— Трудно предсказать подобный риск, — уклончиво ответила девушка. — В любом случае осторожность в таком деле не помешает.

— В таком случае не было бы более осмотрительным вообще заморозить эту разработку?

Лицо девушки осталось совершенно бесстрастным, и улыбка ушла с него моментально, без каких-либо промежуточных эмоций. Она помолчала секунду и потом сказала:

— Нет.

Натан тоже замолчал, понимая, что собеседование завершилось. Он хлопнул себя по коленям и поднялся.

— Был рад пообщаться с доктором, хотя бы вот так, опосредованно… — сказал он.

— Мы вам перезвоним! Хорошего дня, господин Хольм! — ответила девушка, вновь лучезарно улыбаясь.

Натан Хольм,

фрагмент из колонки для Cosmopolitan:

«К сожалению, а может быть и к счастью, сверхчеловеческий ИИ сейчас от нас далек примерно так же, как и второе пришествие. Ведущие ученые по теме изучения интеллекта (Грациано, к примеру) скромно пишут о „десятилетиях“, то есть считают, что не столкнутся с этим вопросом в течение своей жизни. Дело в том, что текущие работающие образцы, которые связывают с темой ИИ (я сейчас о нейросетях), — это тупиковое направление, напрямую оно не приведет к Skynet из фильма про Терминатора. Это утилитарные, заточенные под определенные задачи инструменты, в то время как универсальный интеллект хотя бы человеческого уровня — это прежде всего средство адаптации к среде. Нейросети никто не учит адаптироваться в такой сложной и комплексной штуке, как реальность, их натаскивают на определенные задачи, это вытекает из самого принципа их обучения и селекции пригодных результатов. Но благодаря тому, что у наших любимых деятелей культуры и политиков каша в голове, в массовом сознании „слабый ИИ“ (нейросеть, которая вырезает фон с ваших фотографий и рисует милых котиков) и „сильный ИИ“ (тот самый Skynet) перемешаны, и вот люди уже в ужасе прячутся под стол из-за угроз со стороны неэтичного всемогущего разума».

3 месяца до сингулярности

«Когда мера становится целью, она перестает быть хорошей мерой».

Закон Гутхарта

Письмо было на обычной бумаге, и там было всего несколько строчек, напечатанных на аналоговой печатной машинке. Натан с удивлением разглядывал чуть смазанные оттиски букв и понял, что он не видел письма, напечатанного на машинке вручную, наверное, лет двадцать. Отправитель явно не захотел доверять свое послание не только электронной почте, но даже вообще компьютеру.

«Натан, дружище, тут происходит какая-то чертовщина. Прилетай обязательно, все процессуальные вопросы с Рамой я улажу. Не подведи меня, одному мне с этим не справиться. Том Тагель. P. S. Ну и они тут все до смерти скучные [трезвенники]!»

Кроме записки, в конверте были билет до Джакарты в одну сторону и клочок бумаги, на котором было криво нацарапано шариковой ручкой: «Хабиб, он встретит в аэропорту с рейса…» — и десятизначный номер телефона. С Томом Тагелем, математиком и нобелевским лауреатом, Натан, можно сказать, дружил, хотя они и не общались уже года два. Правда, со смерти Эмилии многое поменялось, и Натан сам был виноват в том, что теперь вокруг него не осталось ни друзей, ни даже просто приятелей.

Натан дважды перечитал письмо и попытался вспомнить, что же произошло за последние несколько недель с того момента, как он понял, что компания ATWAY так ничего и не ответит ему по результатам того собеседования. Да вроде бы ничего необычного. Ну, разве что прогремел скандал с генеральным директором одного стартапа, но там было больше низкого криминала, чем высоких технологий…

Тут кто-то окликнул Натана, и он отвлекся от письма, заодно осознав, что так и продолжает стоять с конвертом в руках на лужайке перед своим домиком. Сосед по имени Джон и по фамилии Джонсон приветливо улыбался и махал рукой:

— Добрый день, мистер Хольм! Неожиданное письмо? Какое-нибудь новое открытие?

— Как всегда, дорогой Джон, как всегда! — ответил Натан и, рассеянно махнув ему рукой, направился к дому.

Войдя внутрь, он первым делом открыл ноутбук и начал искать, что же случилось с командой ATWAY за последние месяцы. Он быстро пробежался по официальным источникам и, не найдя ничего интересного (доктор Рамачандрян за это время дал всего пару интервью с очень обтекаемыми формулировками), углубился в «серую зону», где многочисленные сторонники конспирологических теорий строили свои песчаные замки на топких берегах слухов и домыслов. Тут было значительно интереснее, хотя все эти фантазии не имели никакого отношения к реальности. Наконец в одном из длинных и бессмысленных (потому что участники не имели даже примерного представления о сути предмета дискуссии) обсуждений ему удалось найти небольшой комментарий, который мог бы посчитаться зацепкой:

«Хей, чувак! Ты пишешь про Раму и его ATWAY, но делаешь это без должного уважения, лол! Тебе надо бы знать, что эти ребята там, на острове, делают штуку, которая похуже, чем „Лед-9“. Да-да, они нас всех угробят и не почешутся. Ты в курсе, что Рама и его ассистентка Дени любовники и что они полностью отмороженные безумцы? Они принадлежат к Калабарскому клубу — это такая тайная организация, где всякие шишки планируют геноцид девяти десятых населения шарика. Я пытался связаться с одним своим старым знакомым, назовем его, допустим, Глок, который у них уже третий год на проекте, так вот — все бесполезно. Кругом роботы-автоответчики, никакой информации наружу, одни тупые улыбки и вода. Да, чувак, море воды, прямо как вокруг того самого острова. Ну, ты понял, о чем я. Мой дружбан как будто в воду канул, не оставив никаких следов. Эти клоуны Рама и Дени — они как Бонни и Клайд, только от мира искусственного интеллекта…»

Дальше там было еще много всего в таком же духе, но Натан уже не стал дочитывать. Внезапно он понял, что ему придется лететь в Джакарту. Чего тут было больше — любопытства, смутного ощущения опасности, долга перед Томом или просто желания уехать из дома, где любая мелочь все еще напоминала ему об Эмилии, — он не понимал и не стал в этом разбираться. Вдруг идея уехать и посмотреть на команду проекта, а заодно и поболтать за бокалом виски с Томом, как в старые времена, показалась ему интересной. В худшем случае он нахамит этому глупцу-доктору и улетит обратно. А потом напишет про это разгромную колонку для Wired. И да, судя по дате на билете, у него было еще больше трех недель чтобы завершить свои дела и, может быть, даже передумать.

Натан Хольм, фрагмент из статьи

для журнала Sunday Tonight Tribune:

«На этом я мог бы завершить свой краткий обзор финалистов в этой гонке хромых собак к сильному искусственному интеллекту, если бы не еще одна компания с претенциозным названием ATWAY. Кстати, оно расшифровывается как „все эти миры ваши“ — это цитата из „Космической одиссеи“ сэра Артура Кларка. Но оставим в покое космические амбиции основателей этого стартапа, а ATWAY именно независимый стартап с крайне мутными источниками финансирования. Итак, доктор Рамачандрян — что мы знает о нем? Ученый-философ с мировым именем и весьма интересными концептуальными работами, но при чем здесь ИИ? Это ведь инструментальная область, а не философия. И потом, Карл Маркс также был интересным философом, а потом вот как все обернулось, когда дело перешло в практическую плоскость… А что касается его бессменной помощницы Даниэлы Дени, так про нее вообще ничего не известно! Так что здесь все как мы любим: непонятные люди дают деньги странного происхождения сомнительного рода фанатичным ученым, и все это может привести к концу света. Поздравляю тебя, Америка, ты это заслужила!»

6 недель до сингулярности

«Искусственный интеллект — тот случай, когда нужно быть достаточно дальновидными в вопросах регулирования, иначе может оказаться слишком поздно».

Илон Маск, предприниматель

Натан пробыл на острове уже три недели, но пока так и не смог привыкнуть к местному климату: ему все время было то слишком жарко, то слишком холодно. Жарко ему было снаружи, в джунглях, окружающих здания комплекса, а еще там было полно насекомых. Поэтому Натан старался там не показываться. А внутри комплекса была плохо налажена система кондиционирования, и ему все время было холодно. Но насекомые сюда не забирались и обычно сидели снаружи на стеклянных панелях. Один раз он увидел на окне палочника длиной с логарифмическую линейку и очень пожалел, что у него нет обратного билета в Джакарту.

Остров, как смог заключи