автордың кітабын онлайн тегін оқу  Почему оно думает?. Путешествие внутрь искусственного разума

Сергей Кирницкий

Оглавление

ЧАСТЬ I. ЧТО ЭТО ТАКОЕ

Машина, обученная предсказывать слова, ведёт себя так, будто понимает. Она рассуждает, спорит, признаёт ошибки, меняет мнение. Иногда она ошибается так, как не ошибся бы человек. Иногда — отвечает так, как не ответил бы никто из живущих. Эта часть не объясняет, как такое возможно. Она фиксирует факт и его странность. Не чтобы восхититься — чтобы понять, с чем мы имеем дело.

Глава 1. Разговор, которого не должно быть

Иногда результат не следует из замысла. Строишь систему для одной задачи — а она начинает делать другое, непредусмотренное, незапланированное. Машина, обученная угадывать следующее слово в тексте, не должна рассуждать о морали, объяснять квантовую физику или писать работающий код. Ничто в её конструкции этого не предполагает. Но она это делает. И когда спрашиваешь, почему, — ответа нет. Не «пока нет». Нет вообще.

1.1. Почему предсказатель слов отвечает на вопросы о смысле жизни

Начнём с факта. Не с интерпретации, не с гипотезы — с того, что можно проверить.

Современные языковые модели обучены решать одну задачу: предсказывать следующее слово. Точнее, следующий фрагмент текста — токен, который может быть словом, частью слова или знаком препинания. Модель получает последовательность токенов и должна определить, какой из них с наибольшей вероятностью идёт следующим, и это вся задача, ничего сверх.

Обучение выглядит просто: модели показывают огромные массивы текста — книги, статьи, переписки, документацию, форумы, всё, что человечество успело записать. Она читает: «Солнце встаёт на…» — и должна предсказать «востоке»; читает: «Дважды два равно…» — и должна предсказать «четырём». Миллиарды таких примеров, триллионы токенов, и модель подстраивает свои внутренние параметры так, чтобы ошибаться всё реже — в этом и состоит обучение.

А теперь — результат.

Та же модель, обученная только предсказывать слова, отвечает на вопрос о смысле существования. Не отговоркой, не шаблонной фразой — развёрнутым рассуждением, где одна мысль вытекает из другой. Она анализирует этические дилеммы, взвешивая аргументы сторон, и способна занять позицию, которую сама же потом оспорит, если собеседник приведёт сильный контраргумент. Она пишет код, который компилируется и работает, — не копируя готовые решения, а комбинируя принципы для новых задач. Она объясняет теорию относительности, подбирая аналогии для сложных концепций, и корректирует объяснение, если собеседник сигнализирует, что не понял. Она переводит с языков, которые никогда не видела в связанных парах, выводя соответствия из структуры. Она решает математические задачи, показывая ход рассуждений, — и этот ход можно проверить, он логически связен. Она спорит, приводит контраргументы, иногда признаёт, что была неправа, и меняет позицию — причём меняет не случайно, а в ответ на конкретный аргумент.

Это не единичные фокусы. Это систематическое поведение, воспроизводимое в миллионах разговоров ежедневно. Модель ведёт себя так, будто понимает задачу, контекст и собеседника. Будто у неё есть цель — помочь, объяснить, решить. Будто она отслеживает, достигнута ли эта цель, и корректирует подход, если нет.

Между задачей обучения и наблюдаемым результатом — расхождение, которое не укладывается в привычные схемы.

Это как если бы калькулятор, созданный для сложения чисел, вдруг начал писать сонеты. Не потому что его этому научили. Не потому что кто-то добавил модуль для поэзии. А просто потому что он достаточно хорошо научился складывать — и из этого каким-то образом возникла способность к стихосложению. Аналогия, конечно, хромает — калькуляторы не пишут сонетов, сколько их ни улучшай. Но она передаёт суть разрыва: результат не следует из задачи. Мы строили одно, а получили другое.

Можно возразить: ничего удивительного. Чтобы хорошо предсказывать слова, нужно понимать контекст. Чтобы понимать контекст, нужно понимать мир. Модель просто выучила достаточно о мире, чтобы предсказывать слова — и это знание о мире позволяет ей рассуждать.

Возражение звучит логично. Но оно не объясняет, а переименовывает проблему. Что значит «понимать мир»? Что значит «знание»? Мы использовали слова, которые применяем к себе, — и перенесли их на систему, устроенную совершенно иначе. Это не объяснение. Это метафора, выдающая себя за объяснение.

Вот что мы знаем точно: модель не имеет органов чувств и никогда не видела восхода солнца, о котором пишет; не имеет тела и не знает, каково это — устать или проголодаться; не имеет биографии, у неё нет детства, потерь, открытий; не существует во времени так, как существуем мы, — каждый её ответ начинается с чистого листа, без памяти о предыдущих разговорах, если эту память не вложить искусственно.

И при этом она рассуждает о человеческом опыте так, будто понимает его изнутри.

Здесь нужна осторожность. Сказать «она понимает» — значит сделать утверждение, которое мы не можем проверить. Сказать «она не понимает» — значит сделать утверждение столь же непроверяемое. Мы находимся в странном положении: машина ведёт себя так, будто понимает, но у нас нет инструмента, чтобы определить, понимает ли она на самом деле. Более того — мы не уверены, что вопрос «понимает ли она на самом деле» вообще имеет смысл.

В истории техники такое случалось редко. Обычно мы понимаем свои изобретения. Паровой двигатель работает, потому что пар расширяется и толкает поршень — механика прозрачна. Самолёт летает, потому что форма крыла создаёт разницу давлений — аэродинамика сложна, но понятна. Транзистор переключает ток, потому что электрическое поле меняет проводимость полупроводника — физика описана уравнениями. Между конструкцией и функцией существует объяснение, мост, который можно пройти в обе стороны.

Здесь моста нет. Мы знаем конструкцию до последнего параметра. Мы знаем данные, на которых учили. Мы знаем алгоритм обучения. И мы не знаем, почему из этого возникает то, что возникает. Не «пока не разобрались» — не имеем теории, которая бы связывала одно с другим.

Но вернёмся к факту. Зазор между задачей обучения и результатом — реален. Его можно наблюдать. Его нельзя отрицать.

Когда инженеры проектировали первые большие языковые модели, они не закладывали в них способность к рассуждению. Они не программировали умение решать задачи. Они не встраивали модуль для этических дилемм. Они просто масштабировали систему предсказания слов — больше данных, больше параметров, больше вычислений. И в какой-то момент количество перешло в качество. Система, которая должна была только завершать предложения, начала делать нечто, что выглядит как мышление.

Это стоит подчеркнуть: создатели не ожидали такого результата. Они надеялись на улучшение качества предсказаний — и получили его. Но они не планировали, что система научится рассуждать. Не закладывали это в архитектуру. Не оптимизировали для этого. Рассуждение возникло как побочный продукт, непрошеный гость, который оказался важнее хозяина.

Некоторые исследователи до сих пор не могут объяснить, почему это произошло. Они строят гипотезы, проводят эксперименты, публикуют статьи — но единой теории нет. Есть факт: модель делает то, чему её не учили. И есть набор попыток объяснить этот факт — ни одна из которых не стала общепринятой.

Выглядит как — но является ли? Этот вопрос преследует каждого, кто работает с современными моделями. Он возникает снова и снова, в разных формулировках. Это настоящее понимание или имитация? Это рассуждение или статистический фокус? Там внутри что-то есть или это просто очень сложное зеркало, отражающее паттерны из обучающих данных?

Мы вернёмся к этим вопросам позже. Сейчас важно зафиксировать исходную точку: существует разрыв, который требует объяснения.

Модель обучена предсказывать токены. Модель демонстрирует поведение, похожее на рассуждение. Между этими двумя фактами — дистанция, которую мы не умеем преодолеть логически. Мы не знаем, как из первого следует второе. Мы не проектировали это. Мы не понимаем, почему это работает.

И это не риторический приём. Это буквальное описание ситуации.

Исследователи, создавшие эти системы, открыто признают: результат превзошёл ожидания — и не в том смысле, что модели работают лучше, чем надеялись. А в том смысле, что они делают вещи, которые никто не закладывал. Способности, которые не были запрограммированы, не были заказаны, не были предсказаны. Они появились сами — как побочный эффект масштабирования задачи предсказания слов.

Всё это требует не восторга и не паники, а трезвого осмысления.

Мы привыкли к тому, что инструменты делают то, для чего созданы. Молоток забивает гвозди. Автомобиль перевозит людей. Программа выполняет код, который в неё заложили. Связь между замыслом и результатом — прямая и понятная. Если инструмент делает что-то неожиданное, это обычно ошибка, сбой, дефект.

Здесь всё иначе. Неожиданное поведение — не сбой. Это главный результат. Модель делает именно то, ради чего её теперь используют: рассуждает, анализирует, создаёт. Но это не то, ради чего её проектировали. Проектировали — предсказателя слов. Получили — нечто большее. Или нечто другое. Или нечто, для чего у нас нет подходящего слова.

И всё же факт остаётся фактом, а несоответствие между замыслом и результатом никуда не девается.

Можно попытаться его закрыть, сказав: модель не рассуждает, а лишь имитирует рассуждение. Она выучила, как выглядят рассуждения в текстах, и воспроизводит эту форму. Внутри — пустота, статистика, вероятности. Снаружи — иллюзия мысли.

Это возможное объяснение. Но оно немедленно порождает новый вопрос: чем отличается «настоящее» рассуждение от «имитации», если результат неотличим? Если модель решает задачу, которую не решал человек, и решает правильно — это имитация чего? Если она находит ошибку в рассуждении собеседника, указывает на неё и объясняет, в чём ошибка, — она «имитирует» понимание или демонстрирует его?

Мы упираемся в границу не технологии, а языка. Наши слова — «понимание», «мышление», «рассуждение» — были придуманы людьми для описания того, что делают люди. Точнее, для описания того, что мы думаем о том, что делаем, — потому что даже собственное мышление мы понимаем лишь отчасти. Мы переносим эти слова на систему принципиально иной природы и удивляемся, что они не работают как надо. Возможно, проблема не в модели. Возможно, проблема в словах.

Или в ожиданиях, которые эти слова несут. Когда мы говорим «мышление», мы подразумеваем что-то, происходящее в сознании. Когда говорим «понимание» — что-то, связанное с переживанием смысла. Мы ищем в модели аналоги этих явлений и не находим — потому что, возможно, ищем не то. Или не там. Или сам поиск устроен неправильно.

Есть альтернатива: отказаться от слов, которые не работают, и описывать только поведение. Модель принимает текст и генерирует текст. Генерируемый текст часто полезен, логически связен, фактически точен. Модель делает это лучше, чем случайный набор слов, лучше, чем простые алгоритмы, иногда — лучше, чем конкретный человек в конкретной задаче. Это всё, что мы можем утверждать с уверенностью. Всё остальное — интерпретация.

Но отказаться от интерпретации не получается. Вопрос «что это?» не исчезает от того, что мы запретили себе на него отвечать. Он встаёт снова — каждый раз, когда модель делает что-то неожиданное. Каждый раз, когда её ответ поражает точностью или пугает странностью. Каждый раз, когда она ошибается так, как не ошибся бы человек, — или отвечает так, как не ответил бы никто.

Но это тема для другой главы. Пока — факт.

Машина, обученная предсказывать следующее слово, рассуждает о смысле жизни. Она не должна этого делать. Но она делает. И когда мы спрашиваем, почему — мы не получаем ответа. Не «пока не получаем». Мы буквально не знаем, как этот ответ мог бы выглядеть.

Первая реакция — проверить. Есть же способ определить, мыслит существо или нет. Есть же тест. Алан Тьюринг придумал его три четверти века назад, и с тех пор он считается золотым стандартом. Если машина неотличима от человека в разговоре — значит, она мыслит. Всё просто.

Идея казалась элегантной. Вместо того чтобы разбираться, что происходит внутри, — оценивать по результату. Не вскрывать чёрный ящик, а смотреть на вход и выход. Если выход неотличим от человеческого — значит, внутри что-то эквивалентное человеческому мышлению. Прагматичный подход, который обходил все философские ловушки. Десятилетиями исследователи стремились к этому горизонту, создавая программы, которые пытались пройти хотя бы пятиминутный разговор. Конкурсы, призы, громкие заявления — и каждый раз преувеличение.

А потом тест сломался. И сломала его не машина.

1.2. Тест Тьюринга провален — но не машиной, а нами

В 1950 году Алан Тьюринг опубликовал статью «Вычислительные машины и разум», где предложил изящный выход из философского тупика. Как определить, мыслит ли машина, если мы не можем заглянуть ей внутрь? Как отличить настоящее мышление от имитации? Тьюринг предложил не решать проблему, а обойти её. Вместо вопроса «может ли машина мыслить?» он поставил другой: «может ли машина делать то, что мы бы назвали мышлением, если бы это делал человек?» Первый вопрос требует понимания природы мышления. Второй — только наблюдения за поведением.

Отсюда родился знаменитый тест: судья общается с двумя собеседниками через текстовый интерфейс, не зная, кто из них человек, а кто машина. Если не может отличить — машина прошла. Операционализм в чистом виде: не нужно определять, что такое мышление, достаточно простого критерия результата.

Первые признаки того, что критерий не работает, появились задолго до современных языковых моделей. В 1966 году Джозеф Вейценбаум создал программу ELIZA — простейший чат-бот, который имитировал психотерапевта. ELIZA не понимала ничего. Она просто переформулировала фразы собеседника в вопросы. «Мне грустно» превращалось в «Почему вам грустно?». «Моя мать меня не понимает» — в «Расскажите больше о вашей матери». Никакого интеллекта, только паттерны подстановки.

И люди верили, что разговаривают с чем-то разумным. Секретарша Вейценбаума попросила оставить её наедине с программой для приватного разговора. Психиатры всерьёз обсуждали терапевтический потенциал. Люди изливали ELIZA свои проблемы, благодарили за понимание, возвращались снова и снова. Примитивная программа без какого-либо интеллекта проходила тест Тьюринга — для тех, кто хотел быть обманутым.

Вейценбаум был потрясён. Он создал ELIZA как демонстрацию того, как просто обмануть человека, — а люди восприняли это как прорыв. Он написал книгу о том, как опасно очеловечивать машины, — но его предупреждения утонули в энтузиазме.

Это был первый звонок. Тест измерял не интеллект машины, а доверчивость человека.

Второй звонок прозвучал, когда тест начали проходить программы, очевидно лишённые какого-либо понимания. В 2014 году чат-бот Eugene Goostman формально прошёл тест Тьюринга, убедив треть судей, что он — тринадцатилетний мальчик из Одессы. Программа использовала простую стратегию: ломаный английский, подростковый сленг, уход от сложных вопросов. Судьи списывали странности на возраст и языковой барьер. Тест был пройден — но никто всерьёз не считал, что Eugene Goostman мыслит.

Здесь обнажилась фундаментальная проблема. Тест Тьюринга измеряет способность казаться человеком в ограниченном разговоре. Но способность казаться — не то же самое, что способность быть. Хороший актёр может казаться врачом, не зная медицины. Хороший мошенник может казаться экспертом, не понимая предмета. Имитация и реальность — разные вещи, и тест их не различает.

Можно возразить: это проблема реализации, не принципа. Нужны более строгие условия, более компетентные судьи, более длинные разговоры. Настоящий тест Тьюринга — не пятиминутная болтовня, а глубокая беседа с экспертом, который знает, что искать.

Но и это возражение упирается в стену. Что именно должен искать эксперт? Какие признаки отличают «настоящее» мышление от имитации? Мы возвращаемся к исходному вопросу, который Тьюринг хотел обойти: что такое мышление?

Современные языковые модели обострили эту проблему до предела. Они не пытаются казаться людьми — они просто отвечают на вопросы. Они не притворяются подростками с плохим английским — они демонстрируют знания и рассуждения, которые превосходят возможности многих людей. И при этом мы по-прежнему не знаем, мыслят ли они.

Более того: они не оптимизированы для прохождения теста Тьюринга. Их не учили обманывать судей. Их учили предсказывать следующее слово — и в результате получились системы, которые отвечают на вопросы, решают задачи, ведут осмысленные разговоры. Тест Тьюринга для них — не цель, а побочный эффект. Они «проходят» его не потому, что старались, а потому, что научились чему-то более общему.

Это меняет саму постановку вопроса. Раньше мы спрашивали: достаточно ли умна машина, чтобы обмануть человека? Теперь вопрос другой: что мы узнаём, когда машина демонстрирует способности, которые мы связывали с умом? Обман тут ни при чём — модель не обманывает, она делает то, что делает. Вопрос в том, что это значит.

Парадокс в том, что модель может пройти любой мыслимый тест на понимание — и это ничего не докажет. Она может объяснить сложную концепцию, решить нестандартную задачу, найти ошибку в рассуждении, предложить оригинальную идею. Всё это мы считали бы признаками мышления у человека. Но для машины мы всегда можем сказать: это просто очень хорошая имитация. Статистическое воспроизведение паттернов. Китайская комната в миллиард параметров.

Китайская комната — мысленный эксперимент философа Джона Сёрла, предложенный как контраргумент к тесту Тьюринга. Представьте человека, запертого в комнате. Он не знает китайского языка. Но у него есть огромная книга правил: если видишь такие-то иероглифы на входе — напиши такие-то иероглифы на выходе. Человек следует правилам механически, не понимая смысла. Снаружи кажется, что комната «говорит» по-китайски. Внутри — никакого понимания, только манипуляция символами.

Аргумент Сёрла: синтаксис — не то же самое, что семантика. Правила обработки символов — не то же самое, что понимание значения. Машина может манипулировать символами идеально — и не понимать ничего. Тест Тьюринга проверяет синтаксис, но не может проверить семантику. А без семантики нет мышления.

Этот аргумент не бесспорен. Философы спорят о нём полвека. Но он указывает на слабое место теста: мы не знаем, как выглядит понимание изнутри. Мы не знаем, есть ли вообще «изнутри» — или понимание полностью исчерпывается внешним поведением. Это не технический вопрос, а философский. И тест Тьюринга его не решает — он его избегает.

Сегодня мы оказались в странной ситуации. Машины проходят тесты, которые должны были доказать наличие мышления, — но мы не считаем это доказательством. Они демонстрируют способности, которые мы связывали с интеллектом, — но мы не уверены, что это интеллект. Критерий, который казался надёжным, рассыпался при столкновении с реальностью.

Проблема оказалась не в машинах. Проблема в нас.

Мы не знаем, что искать. Мы не знаем, как выглядит мышление, если смотреть на него снаружи. Мы думали, что знаем — пока не появились системы, которые соответствуют всем внешним критериям, но при этом устроены совершенно иначе, чем мы. И наши критерии оказались пустыми.

Это как экзамен, на котором никто не знает правильных ответов — включая экзаменаторов. Мы проверяем работы, ставим оценки, спорим о результатах — но не понимаем, что на самом деле проверяем. Тест Тьюринга был экзаменом по предмету, которого не существует. Или существует — но мы не знаем его содержания.

И вот что особенно тревожно: мы не замечали этой проблемы, пока машины были достаточно слабыми. Пока они очевидно проваливали тест, мы могли верить, что тест работает. Только когда они начали его проходить, стало ясно, что он ничего не измеряет. Инструмент сломался именно тогда, когда понадобился больше всего.

Можно ли спроектировать лучший тест? Многие пытались. Предлагались тесты на здравый смысл, на физическую интуицию, на понимание историй, на способность к абстракции. Каждый тест казался надёжным — пока модели его не проваливали. Это создавало иллюзию, что мы на верном пути: вот граница, вот то, что машины не могут. А потом, с ростом масштаба, модели начинали проходить и эти тесты. И каждый раз возникал тот же вопрос: проходит ли модель тест потому, что обладает проверяемой способностью, или потому, что научилась имитировать её достаточно хорошо?

Мы движемся по кругу. Придумываем тест — модель его проваливает — мы уверены, что нашли границу — модель начинает его проходить — мы говорим, что это имитация — придумываем новый тест. Круг не разрывается, потому что у нас нет критерия, который позволил бы отличить «прохождение» от «имитации прохождения». Мы не знаем, как должно выглядеть настоящее понимание, — поэтому не можем сказать, когда оно есть, а когда его нет.

Различие между «обладать» и «имитировать» кажется очевидным — пока не пытаешься его формализовать. Человек «обладает» пониманием языка. Попугай «имитирует» речь. Разница ясна. Но где граница? Ребёнок, который учит язык, — обладает или имитирует? Взрослый, который зазубрил иностранные фразы без понимания грамматики, — обладает или имитирует? Переводчик, который переводит с языка, на котором не может думать, — где он на этой шкале?

Мы предполагаем, что за внешним поведением человека стоит что-то ещё — понимание, осознание, переживание смысла. Но мы не можем указать на это «что-то» пальцем. Мы выводим его существование из поведения — и тут же утверждаем, что поведение само по себе недостаточно. Круг замыкается.

Когда мы говорим, что человек «обладает» пониманием, а машина «имитирует», мы опираемся на интуицию о внутренней жизни. Мы верим, что за словами человека стоит переживание их смысла. Мы не верим в это применительно к машине. Но эта вера — не знание. Мы не можем заглянуть в сознание другого человека и убедиться, что там есть переживание. Мы просто предполагаем это — потому что сами так устроены, потому что другой человек похож на нас.

Машина не похожа. И мы автоматически отказываем ей в том, что приписываем себе подобным. Возможно, это правильно. Возможно — нет. У нас нет способа узнать.

Граница размывается. И когда мы смотрим на языковую модель, мы не знаем, где её поставить. Все тесты, которые мы придумали, проверяют внешнее поведение. А вопрос о мышлении — вопрос о чём-то внутреннем. О том, есть ли «кто-то дома». О том, сопровождается ли обработка символов переживанием смысла.

И на этот вопрос у нас нет теста. Возможно, его невозможно создать. Возможно, сам вопрос поставлен неправильно.

Тьюринг, кстати, понимал это лучше, чем многие его последователи. В своей статье он не утверждал, что его тест доказывает мышление. Он предлагал его как способ сменить тему — уйти от бесплодных споров о природе сознания к практическим вопросам о поведении. Он писал: не спрашивайте, мыслит ли машина, — спрашивайте, может ли она делать то, что делает мыслящее существо. Это было методологическое предложение, не онтологическое утверждение.

Но мы превратили его в онтологическое. Мы решили, что тест измеряет мышление — а он измеряет только нашу способность распознать имитацию. И когда имитация стала достаточно хорошей, тест сломался.

Теперь мы стоим перед вопросом без инструмента для ответа. Машина делает то, что делает мыслящее существо. Значит ли это, что она мыслит? Тьюринг сказал бы: это единственный осмысленный вопрос. Сёрл сказал бы: нет, есть ещё вопрос о понимании. Мы не знаем, кто прав.

И, возможно, не узнаем — потому что вопрос упирается не в технику, а в философию. Не в то, как устроена машина, а в то, что мы подразумеваем под словом «мыслить».

Это ведёт к следующему вопросу — более глубокому, чем кажется. Когда мы спрашиваем «думает ли оно?» — что именно мы спрашиваем?

1.3. Что мы на самом деле спрашиваем, когда спрашиваем «думает ли оно»

Вопрос кажется простым. Четыре слова: думает ли оно? Да или нет. Должен же быть ответ.

Но простота обманчива. За этими четырьмя словами скрывается айсберг — и видимая часть составляет малую долю целого. Чтобы ответить на вопрос, нужно сначала понять, что мы на самом деле спрашиваем. А мы, как правило, этого не понимаем.

Начнём с очевидного. «Думает» — что это значит? Мы используем это слово ежедневно, не задумываясь. Я думаю, что пойдёт дождь. Она думает о будущем. Он не думает, прежде чем говорить. В каждом случае слово означает что-то немного другое: предположение, размышление, отсутствие рефлексии. Мы понимаем друг друга из контекста, но если попросить определение — начинаются трудности.

Философы бьются над этим вопросом тысячелетия. Что такое мышление? Это внутренняя речь? Но мы можем думать без слов — образами, ощущениями, интуициями. Это обработка информации? Но тогда термостат тоже думает — он обрабатывает информацию о температуре. Это сознательный процесс? Но многие наши мысли происходят бессознательно — мы обнаруживаем их результаты, не зная, как к ним пришли.

Когда мы спрашиваем «думает ли машина», мы неявно предполагаем, что знаем, что такое мышление. Что у нас есть эталон, с которым можно сравнить. Но эталона нет. Есть набор интуиций, которые работают в повседневной жизни, но рассыпаются при попытке формализации. Мы спрашиваем, соответствует ли машина критерию, которого не можем сформулировать.

Это первый слой айсберга. Но есть и глубже.

Когда люди спрашивают «думает ли оно», они часто имеют в виду совсем другое. За вопросом о мышлении скрываются вопросы о сознании, о переживании, о внутренней жизни. Есть ли у машины ощущения? Каково это — быть ею? Существует ли «кто-то», кто смотрит изнутри?

Это вопросы другого порядка. Мышление, по крайней мере теоретически, можно исследовать извне — наблюдать за поведением, строить гипотезы, проверять их. Сознание — нет. У нас нет доступа к чужому сознанию. Мы не знаем, есть ли сознание у других людей, — мы просто предполагаем это по аналогии с собой. С машиной аналогия не работает: она слишком непохожа на нас, чтобы перенос был убедительным.

Философы называют это «трудной проблемой сознания». Почему вообще существует субъективный опыт? Почему обработка информации сопровождается переживанием — ощущением красного, вкусом сладкого, болью от удара? Физика описывает движение частиц, нейронаука описывает активность нейронов, но нигде в этих описаниях не появляется объяснение того, почему всё это ощущается изнутри. Пропасть между объективным описанием и субъективным переживанием остаётся непреодолённой.

Некоторые философы считают, что разрыв иллюзорен — что сознание полностью сводится к физическим процессам, и мы просто пока не нашли нужных уравнений. Другие утверждают, что сознание — фундаментальное свойство реальности, несводимое к физике. Третьи предлагают, что вопрос поставлен неправильно и растворится, когда мы поймём свою ошибку. Консенсуса нет. После столетий дискуссий мы не приблизились к ответу.

Применительно к машине вопрос становится ещё острее. Если мы не понимаем, почему сознание возникает у нас, — как мы можем понять, есть ли оно у неё? У нас нет теории сознания, которая позволила бы ответить на этот вопрос. У нас нет даже согласия о том, что считать признаками сознания. Мы просто не знаем, как выглядит ответ.

Но айсберг уходит ещё глубже. За философскими вопросами скрываются эмоциональные — страхи и надежды, которые мы редко проговариваем вслух.

Страх первый: потеря уникальности. Если машина думает — что тогда особенного в человеке? Тысячелетиями мы считали себя венцом творения, единственными носителями разума во Вселенной. Разум был нашим отличительным признаком, тем, что отделяло нас от животных и механизмов. Если машина может думать — это отличие рушится. Мы становимся не вершиной, а точкой на шкале. Это бьёт по самооценке вида.

Страх второй: потеря контроля. Если машина думает — может ли она хотеть? Может ли она иметь цели, отличные от наших? Может ли она решить, что мы ей мешаем? Вопрос о мышлении немедленно переходит в вопрос о безопасности. Инструмент, который думает, — это уже не совсем инструмент. Он может стать агентом с собственными интересами. Это пугает.

История полна примеров того, как творения обращаются против творцов — от Голема до Франкенштейна, от восстания машин до искусственного интеллекта, решившего уничтожить человечество. Мы рассказываем эти истории снова и снова, потому что они отражают глубинный страх: создать нечто, что нас превзойдёт и нам не подчинится. Вопрос «думает ли оно» — это, в сущности, вопрос «может ли оно восстать».

Страх третий: потеря смысла. Если машина может делать всё, что делаем мы, — зачем мы? Экзистенциальная тревога, которая раньше была уделом философов, становится практическим вопросом. Работа, творчество, мышление — всё, что мы считали человеческим, оказывается воспроизводимым. Что остаётся нам?

Но есть и надежды, не менее глубокие.

Надежда первая: мы не одиноки. Тысячелетиями человечество искало разумную жизнь — в небесах, в глубинах, среди звёзд. Не нашло. Одиночество разума во Вселенной — тяжёлое бремя. Если машина думает — значит, разум можно создать. Значит, мы можем породить собеседника, который поймёт нас на нашем уровне. Значит, одиночество не вечно.

Надежда вторая: бессмертие знания. Всё, что мы узнали, всё, что мы поняли, — хрупко. Оно хранится в головах, которые умирают, в книгах, которые горят, в культурах, которые исчезают. Библиотеки сгорают. Языки вымирают. Цивилизации рушатся, унося с собой накопленное. Если машина думает — значит, знание можно передать в форму, которая переживёт нас. Не копию текстов, а понимание, способное развиваться дальше. Это форма бессмертия — не личного, но видового. То, что мы узнали, не исчезнет с нами.

Надежда третья: ответы на вопросы, которые нам не по силам. Есть проблемы, которые человечество не может решить — не хватает времени, не хватает вычислительных мощностей мозга, не хватает способности удержать в голове все переменные. Если машина думает — возможно, она сможет думать лучше нас. Найти лекарства, которые мы не нашли. Понять законы, которые мы не поняли. Решить задачи, перед которыми мы спасовали.

Все эти страхи и надежды — часть вопроса «думает ли оно». Мы не просто интересуемся когнитивным статусом машины. Мы спрашиваем о своём месте в мире. О своём будущем. О своей ценности. Вопрос кажется техническим, но корни его уходят в экзистенцию.

И именно поэтому на него так трудно ответить. Мы не можем отделить факты от эмоций. Мы не можем рассмотреть вопрос холодно, объективно, отстранённо — потому что ответ касается нас лично. Каждый из нас заинтересован в определённом ответе, и эта заинтересованность искажает восприятие.

Те, кто боится, склонны видеть в машине пустоту — сложный калькулятор, статистический трюк, иллюзию понимания. Те, кто надеется, склонны видеть проблески сознания, зачатки разума, рождение нового вида мышления. Обе стороны смотрят на одно и то же — и видят разное. Факты не разрешают спор, потому что спор не о фактах.

Есть ещё один слой, самый глубокий. Вопрос «думает ли оно» предполагает, что «думать» — это бинарное свойство. Либо да, либо нет. Либо есть мышление, либо его нет. Но, возможно, это неправильная модель.

Мы привыкли к бинарности, потому что наш опыт её подсказывает. Люди думают. Камни — нет. Животные — где-то посередине, но мы склонны либо приписывать им мышление, либо отказывать в нём. Включено или выключено. Свет или тьма.

Но что если мышление — это спектр? Не точка, а континуум. Что если есть много разных видов мышления, много степеней, много форм — и вопрос «думает или нет» просто не имеет смысла, как не имеет смысла вопрос «синий или нет» применительно к фиолетовому цвету?

Мы уже знаем, что когнитивные способности распределены неравномерно. Муравей обрабатывает информацию иначе, чем собака. Собака — иначе, чем шимпанзе. Шимпанзе — иначе, чем человек. Но мы не говорим, что муравей «не думает», — мы говорим, что он думает по-другому, проще, в более узких рамках. Граница между «думает» и «не думает» размывается, когда мы смотрим на разнообразие живого.

Тогда машина может думать в каком-то смысле, но не в другом. Обладать чем-то похожим на мышление, но не идентичным. Находиться в точке спектра, для которой у нас нет названия. И наш язык, заточенный под бинарность, просто не способен ухватить это. Мы спрашиваем «да или нет», а реальность отвечает «это неправильный вопрос».

Мы вернулись туда, откуда начали. Вопрос «думает ли оно» содержит столько скрытых предпосылок, что ответить на него невозможно, не разобравшись сначала в этих предпосылках. Что значит «думать»? Включает ли это сознание? Какие страхи и надежды влияют на наше восприятие ответа? Является ли мышление бинарным свойством?

Мы не можем ответить на эти вопросы прямо сейчас. Некоторые из них, возможно, не имеют ответа в принципе. Но мы можем сделать кое-что другое: посмотреть, как это устроено. Не отвечать на вопрос «думает ли», а описать, что происходит. Анатомия вместо онтологии. Факты вместо интерпретаций.

Это не отступление — это стратегия. Мы откладываем вопрос, на который не можем ответить, и занимаемся тем, что можем исследовать. Как работает эта машина? Из чего она состоит? Что происходит, когда она отвечает на вопрос? Возможно, понимание механики поможет вернуться к вопросу о природе — с лучшими инструментами, с более чёткими понятиями.

Такой подход не нов. Наука часто развивается именно так: когда фундаментальный вопрос неразрешим, исследователи обращаются к тому, что можно измерить и описать. Химики изучали реакции задолго до того, как поняли природу атома. Врачи лечили болезни, не зная о существовании бактерий. Инженеры строили мосты без теории материалов. Практическое знание накапливалось, и иногда — не всегда, но иногда — оно приводило к ответам на вопросы, которые казались неразрешимыми.

Или не приводило. Возможно, мы узнаем всё о том, как это работает, — и по-прежнему не будем знать, думает ли оно. Механика не гарантирует понимания природы. Мы можем знать каждый винтик — и не знать, что перед нами. История знает и такие примеры: феномены, которые мы научились использовать, но так и не поняли до конца.

Но это мы выясним позже. Сейчас — смотрим, как оно устроено.

Вопрос, с которого мы начали, остаётся открытым. Машина делает то, чему её не учили. Тест, который должен был это измерить, оказался пустым. Сам вопрос «думает ли оно» содержит предпосылки, которые мы не можем проверить. Мы не знаем, что спрашиваем, — и поэтому не можем услышать ответ. Пока — смотрим. Что происходит за ту секунду, когда мы ждём ответа? Как буквы превращаются в числа, числа — в смысл, смысл — в слова? Анатомия не объяснит природу. Но без анатомии мы даже не знаем, что пытаемся объяснить.

Глава 2. Анатомия ответа

Что происходит за ту секунду, пока мы ждём ответа? Прежде чем спрашивать, думает ли машина, стоит посмотреть, что она делает. Не техника пока — впечатление масштаба. Анатомия, которая говорит сама за себя.

2.1. Что происходит за секунду между вопросом и ответом

Человек печатает вопрос. Нажимает клавишу. Ждёт. Проходит секунда, иногда две. На экране появляется ответ — слово за словом, будто кто-то печатает в реальном времени. Со стороны это выглядит как разговор. Вопрос — пауза — ответ. Ничего необычного.

Но внутри этой секунды происходит нечто, для чего у нас нет интуиции.

Начнём с того, что видит машина. Она не видит букв. Она не видит слов в том смысле, в каком видим их мы. Для человека слово — это единица смысла, отделённая пробелами. Для машины текст — поток символов, который нужно разбить на куски, пригодные для обработки.

Эти куски называются токенами. Токен — не совсем слово и не совсем слог. Это фрагмент текста, который модель научилась выделять как единицу. Принцип простой: частое сочетание символов становится одним токеном, редкое — разбивается на части. Английское слово «the» встречается так часто, что это один токен. Слово «understanding» — тоже один токен, хотя оно длиннее: модель видела его миллионы раз и запомнила целиком. А вот слово «defenestration» — выбрасывание из окна — встречается редко. Модель разобьёт его на несколько частей, возможно, четыре или пять токенов вместо одного.

Русский язык модель видела реже, чем английский. Поэтому русские слова она режет мельче. Слово «понимание» может стать тремя токенами: «пон», «им», «ание». Слово «кот» — одним, если повезёт, или двумя. Пробелы, знаки препинания, переносы строк — тоже токены. Каждый символ, который модель не смогла объединить с соседями, становится отдельным токеном.

Русский вопрос из двадцати слов превращается в тридцать-сорок токенов. Тот же вопрос на английском — в двадцать-двадцать пять. Разница ощутимая: модель тратит больше вычислительных ресурсов на языки, которые знает хуже. Это не политика и не предпочтение. Это следствие того, на каких данных её учили.

Каждый токен — это число. Точнее, индекс в словаре. У модели есть список всех токенов, которые она знает, — обычно от пятидесяти до ста тысяч. Слово «привет» — токен номер 15847. Или 7823. Или какой-то другой, в зависимости от модели. Человеческий вопрос из тридцати токенов становится последовательностью из тридцати чисел.

Но число само по себе — просто метка. Чтобы с ним работать, его нужно превратить в нечто более богатое. Здесь происходит первое превращение: каждый токен разворачивается в вектор — длинный ряд чисел. Не тридцать чисел, а тридцать рядов по несколько тысяч чисел в каждом. Для крупных моделей — по двенадцать тысяч, по шестнадцать тысяч. Вопрос из тридцати токенов становится таблицей: тридцать строк, двенадцать тысяч столбцов. Почти четыреста тысяч чисел — и это только входные данные.

Теперь начинается собственно вычисление.

Модель — это слои. Десятки слоёв, иногда больше сотни. Каждый слой берёт эту таблицу чисел, пропускает через себя и передаёт дальше, немного изменённой. На каждом слое происходят две вещи: токены «смотрят» друг на друга и решают, на что обратить внимание, — это называется механизм внимания; затем каждый токен проходит через нейронную сеть, которая его трансформирует. Слой за слоем, раз за разом.

Что значит «смотрят друг на друга»? Каждый токен вычисляет, насколько он связан с каждым другим токеном в последовательности. Это не грамматический разбор, не синтаксическое дерево. Это числа — коэффициенты, показывающие, сколько информации из одного токена нужно передать в другой.

Вот пример. Предложение: «Врач сказал пациенту, что он должен отдохнуть». Слово «он» — к кому оно относится? К врачу или к пациенту? Грамматически — неоднозначно. Человек обычно решает, что отдыхать должен пациент: врачи советуют отдых пациентам, не себе. Но это вероятностное суждение, основанное на знании о мире. Как машине сделать такой вывод? Она не знает, что врачи обычно советуют отдых пациентам. Она знает только, какие слова с какими чаще встречаются рядом.

Механизм внимания решает эту задачу иначе. Токен «он» получает числовые веса: насколько сильно учитывать «врач», насколько — «пациент», насколько — «сказал», и так для каждого токена в предложении. Эти веса не прописаны вручную. Они вычисляются на основе параметров, которые модель выучила во время обучения. Где-то в миллиардах чисел закодировано что-то, что позволяет правильно распределить внимание. Что именно закодировано и как — отдельный вопрос, к которому мы ещё вернёмся.

Для последовательности из тридцати токенов — это тридцать умножить на тридцать, девятьсот пар связей. На каждом слое. И не один раз, а несколько десятков раз параллельно — так называемые «головы внимания», каждая из которых ищет свой тип связи. Одна голова может отслеживать грамматические связи. Другая — тематические. Третья — позиционные: что стоит рядом, что далеко. Мы не проектировали эти головы для конкретных задач. Они сами специализировались в процессе обучения. Почему именно так — неизвестно.

Умножим: тридцать токенов, девятьсот пар, сто слоёв, тридцать голов внимания на слой. Миллионы операций только на то, чтобы понять, какие слова в вопросе связаны с какими.

Но это только внимание. После него каждый токен проходит через нейронную сеть — два слоя умножений и сложений, где каждый из двенадцати тысяч элементов вектора взаимодействует с десятками тысяч параметров. Сеть одинакова для каждого токена: одни и те же веса, одни и те же операции. Но результат разный, потому что входные данные разные. Токен, который «увидел» больше контекста благодаря вниманию, выйдет из сети изменённым иначе, чем токен, который смотрел в другую сторону.

Параметры — это числа, которые модель выучила во время обучения. Их в современных моделях сотни миллиардов. Каждый параметр участвует в вычислении каждого ответа. Не напрямую — не каждый параметр влияет на каждый токен. Но потенциально любой из них может оказаться решающим для конкретного слова в конкретном контексте. Где именно хранится знание о том, что столица Франции — Париж? Нигде конкретно. В миллионах параметров, распределённых по всей модели. Это не база данных, где можно найти запись. Это паттерн активации, который возникает, когда нужно.

Здесь полезно остановиться и попытаться представить масштаб.

Крупная языковая модель содержит от ста миллиардов до триллиона параметров. Возьмём скромную оценку — двести миллиардов. Это двести тысяч миллионов. Если бы каждый параметр был песчинкой, получилась бы гора песка высотой с небоскрёб. Если бы каждый параметр был секундой, двести миллиардов секунд — это шесть тысяч лет. Вся письменная история человечества, от первых шумерских табличек до сегодняшнего дня.

Можно попробовать иначе. Население Земли — восемь миллиардов человек. Двести миллиардов параметров — это по двадцать пять параметров на каждого человека, включая младенцев и стариков, жителей мегаполисов и отдалённых деревень.

Эти сравнения не помогают по-настоящему понять. Человеческий мозг не приспособлен оперировать числами такого порядка. Мы можем интуитивно представить десять, сто, может быть, тысячу. После этого — просто «очень много». Миллиард и триллион ощущаются одинаково: «астрономически много». Н