В основе любой блокчейн-системы вроде биткойна или Ethereum лежит механизм консенсуса. Это процесс, посредством которого компьютеры согласовывают общий набор данных – будь то список транзакций в биткойне или память мирового компьютера Ethereum – и защищают его от махинаций. Достичь консенсуса без централизованного управления непросто. Биткойн использует механизм под названием proof of work, где много компьютеров тратят много энергии на решение математических задач и тем самым доказывают, что они вкладываются в обеспечение безопасности системы. За это они получают плату, но при этом поглощают столько же электроэнергии, сколько способна потребить целая страна[3], что неизбежно сопровождается выбросами CO2. Поскольку на тот момент альтернатив не было, Ethereum тоже использовал proof of work, но еще до запуска проекта Бутерин начал говорить о переходе на другой механизм, proof of stake, когда это станет технически возможно. В proof of stake участники доказывают свою ценность для сети не вычислительной мощностью, а вложенными токенами. Этот механизм расходует минимальное количество энергии, а риск потерять активы удерживает участников от махинаций.
Формально сеньораж можно определить как разницу между рыночной и внутренней стоимостью валюты, то есть стоимостью, которую имела бы валюта, если бы никто не использовал ее в качестве таковой. У древнейших валют вроде зерна сеньораж был практически равен нулю, но по мере развития экономики эта «фантомная стоимость», создаваемая деньгами будто из ниоткуда, все больше росла. В итоге она достигла точки, где сеньораж представляет собой всю стоимость валюты – как, например, у доллара или биткойна.
Во всех этих случаях глупые алгоритмы должны управлять умными агентами. Безопасность ИИ связана с тем, что агенты с IQ на уровне 150 пытаются контролировать агентов, чей IQ равен 6000, а в криптоэкономике агенты с IQ на уровне 5 пытаются контролировать агентов с IQ на уровне 150. Масштабы, конечно, разные, но сходство все же наблюдается. Независимо
В контексте исследований искусственного интеллекта главная подзадача – определить такую функцию полезности, которая будет руководить поведением сверхразумного агента, при этом не позволяя ему совершать действия, которые удовлетворяют заданной функции, но противоречат заложенному в ней намерению (иногда такие действия называют «экстремальными решениями»). Например, если вы попытаетесь поручить сверхразумному ИИ вылечить рак, он может решить, что самый надежный способ – просто всех убить. Если вы заблокируете эту опцию, следующим его решением будет просто навсегда заморозить всех людей криогенным способом, не убивая их. И так далее. В контексте ДАО-демократии Ральфа Меркла проблема заключается в определении такой целевой функции, которая, во-первых, будет прямо пропорциональна социальному и технологическому прогрессу и стремлениям людей, во-вторых, будет обратно пропорциональна экзистенциальным рискам и, в-третьих, которую будет достаточно легко измерить, избежав политических баталий вокруг точности этих измерений.
Кроме того, разработчики блокчейна должны иметь в виду, что за последние сорок лет разработка ПО постоянно переходила на все менее и менее эффективные парадигмы и языки программирования просто потому, что это позволяло разработчикам меньше напрягаться и не заботиться о получении нового опыта.
Так что в любом случае агент с позитивными намерениями справится не хуже агента с негативными намерениями, а часто и лучше. В этом и есть суть сверхрациональности.
Суть в том, что люди очень быстро себя выдают – каждым своим поступком мы постепенно раскрываем свой исходный код. Если мы искренне руководствуемся благими намерениями, мы действуем одним образом, а если только притворяемся добрыми, чтобы в нужный момент нанести удар, мы действуем иначе, и другие часто могут это заметить.
Предположим, я хочу убедить окружающих, что у меня есть определенные качества – что я честен, добр, помогаю своим друзьям. Если у меня действительно есть эти качества, проявлять их легко – я просто буду делать и говорить то, что кажется мне естественным, не обращая особого внимания на то, как смотрюсь со стороны.
Чтобы сразу пойти верным путем, главное – не забывать, что все мы создаем свои платформы, руководствуясь собственным набором предпочтений и параметров, но в конце концов добьется успеха множество сетей, и всем придется жить в этой реальности. Так что лучше начать готовиться к ней прямо сейчас.
