В контексте исследований искусственного интеллекта главная подзадача – определить такую функцию полезности, которая будет руководить поведением сверхразумного агента, при этом не позволяя ему совершать действия, которые удовлетворяют заданной функции, но противоречат заложенному в ней намерению (иногда такие действия называют «экстремальными решениями»). Например, если вы попытаетесь поручить сверхразумному ИИ вылечить рак, он может решить, что самый надежный способ – просто всех убить. Если вы заблокируете эту опцию, следующим его решением будет просто навсегда заморозить всех людей криогенным способом, не убивая их. И так далее. В контексте ДАО-демократии Ральфа Меркла проблема заключается в определении такой целевой функции, которая, во-первых, будет прямо пропорциональна социальному и технологическому прогрессу и стремлениям людей, во-вторых, будет обратно пропорциональна экзистенциальным рискам и, в-третьих, которую будет достаточно легко измерить, избежав политических баталий вокруг точности этих измерений.