Оглавление

Введение

В книге рассказывается про историю появления идеи искусственного интеллекта (ИИ), а также про попытки эту идею реализовать. Этому посвящена первая глава книги.

Начиная со второй главы — рассказывается об основных инструментах и подходах, которые лежат в основании ИИ. Данные базовые идеи, но подробно, в том числе с подробными математическими выкладками. Задача этих глав — показать, из каких «зерен» прорастают нейронные сети, которые стали называть искусственным интеллектом в наше время.

В отличие от большинства книг по ИИ у нас нет задачи обучить созданию нейронных сетей, рассказать о всяких сложных техниках машинного обучения. Все это важные темы, но они — всего лишь развитие тех базовых идей, которым и посвящена наша книга. Усвоив базовые идеи, о которых рассказано в книге, вы сможете самостоятельно разобраться в любых современных подходах по построению ИИ.

Такой подход — сознательное решение. Обучение должно строиться через усвоение элементарных оснований и диалектического метода, когда человек умеет искать и находить развитие, движение этих элементарных оснований. Затем знание о методе прикладывается к реальным задачам, в работе над которыми и осуществляется дальнейшее изучение.

Кода в книге нет, весь код вынесен в репозиторий на GitHub.

Раздел 1 История искусственного интеллекта

История искусственного интеллекта — это часть истории развития промышленности и идей, возникающих в связи с этим развитием. Когда капитализм возник и стал укрепляться в 16 веке, зародилась современная физика, математика, философия. Идеи же физики, математики, философии стали развиваться и применительно к человеку. Мир вообще, человек в частности стали восприниматься как объекты научного внимания. Однако наука в капиталистический период своего развития смотрит на человека антидеалектично, то есть не принимает во внимание историю, развитие, движение объекта изучения. Только в 19 веке появляются и укрепляются идеи диалектики, начинают искать за каждым объектом научного исследования его историю, развитие. Однако направление это, учитывая господство капитализма, не стало основным. Конечно, ученые были вынуждены, чисто объективно, учитывать развитие мира в своих исследованиях, но они делали все возможное, чтобы свести развитие мира, человека к простому изменению. Поэтому еще Гоббс писал: «рассуждение есть не что иное, как подсчитывание».

Именно на этом фоне возникают представления об «искусственном интеллекте». Сам термин появится только в середине 20 века. До этого должно было произойти нечто важное — должна была возникнуть электротехника, передача электрической энергии. Появление этих отраслей промышленности подстегнуло развитие всей остальной промышленности. Управление, как передачей электроэнергии для огромных заводов, так и управление самим производством, привело к появлению автоматики. Автоматы, управляя электроэнергией, заводами, сами же и потребляли электроэнергию. Это взаимное влияние только подстегивало развитие как автоматики, так и применения электроэнергии.

Так как работают на заводах люди, то и применение автоматики, новых машин непременно приводило к взаимодействию человека и автоматики. Постепенно стал возникать своеобразный симбиоз человека и машины. Особенно это стало развиваться в военном деле, для чего первая половина 20 века давала много оснований. Применение современного оружия требовало сложных математических расчетов. На такие расчеты тратилось много труда. Еще в конце 19 века в США появляются средства автоматизации расчетов, применяемые в промышленных масштабах. Однако в 20 веке и они уже не справлялись с возросшим объемом расчетов. Тогда постепенно возникает задача, а затем и решение, — электронная вычислительная машина (ЭВМ). Возникает не на пустом месте, развитие автоматики, электроэнергии, науки дает те средства, которые можно использовать для решения поставленной задачи.

Возьмем книгу 1958 года «Автоматические цифровые машины» от авторов Н. А. Архангельского, Б. И. Зайцева. Посмотрим, чем были ЭВМ в те первые десятилетия, когда только зародились и начинали свое развитие.

Вычислительные машины, пишут авторы, могут быть «непрерывного действия» и «цифрового действия». Непрерывность означает, что вычислительная машина измеряет физические величины, которые принимаются непрерывными. Например, напряжение можно бесконечно делить, но нельзя исчерпать таким делением, напряжение — непрерывно. Машины «цифрового действия» работают не с непрерывными величинами, а, напротив, с величинами дискретными, «прерывными». Например, счеты можно считать вычислительной машиной, которая ведь иметь «прерывные» величины — костяшки. Любопытно, что этими дискретными значениями можно описать непрерывные процессы. Так, никто не мешает нам считать непрерывное напряжение на «прерывных» счетах.

Традиционно в истории «цифровых машин» много внимания обращают на «аналитическую машину» Беббиджа, которая была задумана еще в 19 веке. Вот как авторы описывают ее принцип работы: «По идее Беббиджа „Аналитическая машина“ должна была обладать следующими особенностями: выполнять простые арифметические действия; запоминать начальные данные, промежуточные данные и результаты вычислений; запоминать группу инструкций или команд, по которым должно выполняться решение задачи; выдавать результаты вычислений и последовательно выполнять команды заданной программы вычислений. Особый интерес представляла заложенная в машину способность автоматически прекращать вычисления при выполнении некоторых условий. Если такое условие не было достигнуто при первом выполнении программы, то цикл вычислений повторялся.»

Как видим, во всем основном машина Беббиджа вполне напоминает современные ЭВМ. Со времен Беббиджа вычислительные машины постепенно развивались. До 1937 главным образом развивались счетно-аналитические машины, особенностью которых было использование перфокарт.

В 1937 Говард Айкен переоткрывает идеи Беббиджа, а Тьюринг формулирует идею универсальной машины. В 1944 была построена релейная цифровая вычислительная машина Марк I. Особенностью этой машины было наличие памяти, в которой хранились промежуточные и окончательные результаты вычислений. Вскоре появилась машина Марк II. Эти машины были построены на релейных схемах, однако удобного способа составления таких схем не было. В это время Шеннон предлагает использовать булеву алгебру для анализа релейно-контактных схем.

Использование электромеханических реле уменьшало надежность вычислительных машин. В 1943 появляется вычислительная машина Эниак, в которой использовались уже электронные реле. Если электромеханическое реле выдерживало только миллион переключений, то электронные реле выполняли миллион переключений в одну секунду. Однако проблемой Эниак было то, что подготовка к вычислениям, когда нужно было вручную запрограммировать машину, занимало настолько большое количество времени, что выигрыш во времени вычислений практически не имел значения.

В 1947 Нейман предлагает подход, когда непосредственно в машину вводилась программа, которая к тому же могла изменяться самой машиной при проведении вычислений. С этих пор и начинается уверенное развитие ЭВМ.

Итак, на каких же принципах работает ЭВМ? В конечном счете, пишут авторы, любая задача сводится к арифметическим действиям. Поэтому основной частью машины является арифметическое устройство, которое выполняет эти арифметические действия, а также ряд дополнительных, например нахождение целой части числа. Кроме этой, основной части, ЭВМ имеет устройства ввода и вывода, запоминающее устройство, а также устройство управления, которое следит за работой всех остальных элементов. В ЭВМ используют двоичную систему счисления. Вот что пишут авторы: «В современной машинной математике особое место заняла система записи чисел с основанием „два“. Это связано с тем, что многие элементы быстродействующих машин, как, например, электронное реле, могут иметь два устойчивых состояния: „включено“ и „выключено“. Если теперь условимся одно из состояний такого элемента, например „включено“, обозначить единицей, а другое состояние — нулём, то удобство изображения чисел в машине в двоичной системе станет понятным.»

Эти нули и единицы дают возможность применить булевую алгебру. Авторы пишут: «Если теперь попытаться составить такие электрические схемы, чтобы они могли выполнять основные действия булевой алгебры (логическое сложение, логическое умножение и логическое отрицание), то, пользуясь выведенными формулами, можно из этих схем составить новые схемы для выполнения куда более сложных действий. Другими словами, с помощью булевой алгебры можно синтезировать (т. е. составлять) вычислительные схемы дискретного действия и, скажем без стеснений, можно анализировать уже составленные схемы.»

На первом этапе конструирования ЭВМ создают логические схемы устройств, которые состоят из логических элементов и связей. На втором этапе составляют принципиальную схему логических элементов. Далее, в схеме заменяют логические элементы электронными схемами, что дает принципиальную схему ЭВМ.

Для логических операций «и», «или» могут быть разные схемы. Однако общий их смысл состоит в том, что на вход подаются значения от разных источников в форме 0 и 1, по специальным таблицам делается вывод о том, какое число должно получиться на выходе. В этом и состоит основа создания и работы ЭВМ. Компьютеры изначально изобретались для решения математических задач. Первые ЭВМ решали системы линейных уравнений.

Одновременно в науке 20 века крепнет позитивизм. Физика, как и математика, к концу 19 века оказались в кризисе. Антидиалектические теории о материи, на которых строились теории прошлого, сталкивались с реальностью, результатами экспериментов, открытий. Ученым приходилось подлаживать эти свои антидиалектические представления к новым данным. В начале 20 века это удалось кое-как сделать с помощью квантовой механики и теории относительности. Однако, чтобы квантовая механика и теория относительности «работали» нужно было усвоить себе позитивистский взгляд на мир. Что это означает? Это означает, что в расчет нужно принимать только «наблюдаемые величины», не надо пытаться объяснить причины того, как устроен мир. Нужно просто зафиксировать это «устройство» мира, определить те формальные законы, по которым этот мир изменяется, а дальше — просто считать. Знаменитый лозунг «заткнись и считай», который так нравился физику Фейнману, вполне передает идеологию, сидевшую в головах физиков и математиков 20 века.

И вот в 30-ых годах появляется Тьюринг со своей знаменитой машиной. Понятие машины Тьюринга появляется в его статье «О вычислимых числах, с приложением к проблеме разрешимости». Идеи Тьюринга сводились к тому, что если нечто можно вычислить, то вычислить это можно с помощью машины. Для этого нужно только создать алгоритм, который будет состоять из элементарных команд-операций. Выполнив эти команды, машина и получит решение.

Идеи эти сразу же пытаются приложить к человеку непосредственно. В 1943 году появляется «Логическое исчисление идей, имманентных нервной деятельности», авторами которой являются Мак-Каллок и Питтс. Здесь описывается модель искусственного нейрона, с помощью которого можно познать мир. Важно, что Питтс был ценителем «Принципов математики» Рассела, учился у Виннера, был связан с Карнапом. Все это были важные представители позитивизма в науке. Мак-Каллок не скрывал, что представлял себе мозг человека как машину Тьюринга.

Итак, в 50-ых годах у нас есть все элементы, которые и породили представления об искусственном интеллекте. Развитие промышленности привело к появлению автоматики, с которой человек все больше взаимодействовал. Это же развитие промышленности толкало вперед науку, которая все больше путалась в своих противоречиях, искала выход из них, находила его в позитивизме. Представления о человеке, через представления о «вычислимости», стали опускаться до уровня машины, а машины стали подниматься на уровень человека. Где-то эти движения должны были найти друг друга — и они нашли в кибернетике. В 1948 году появляется книга Винера «Кибернетика, или управление и связь в животном и машине». Так закрепляется представление о единстве процессов управления — человеком и машиной. Человека и машину стали рассматривать просто как системы, у которых есть общие элементы управления, обработки информации.

В это время появляется статья Тьюринга «Может ли машина мыслить?» (1950). Здесь появилась знаменитая «игра в имитацию». Проследим за мыслью автора.

Тьюринг задается вопросом «может ли машина мыслить?». Для этого стоит определить, что является «машиной», а что — «мышлением». Однако давать таких определений он не хочет, поэтому предлагает заменить поиск определений на игру — игру в имитацию. Вот как он описывает эту игру: «В этой игре участвуют три человека: мужчина (А), женщина (В) и кто-нибудь задающий вопросы (С), которым может быть лицо любого пола. Задающий вопросы отделен от двух других участников игры стенами комнаты, в которой он находится. Цель игры для задающего вопросы состоит в том, чтобы определить, кто из двух других участников игры является мужчиной (А), а кто — женщиной (В). Он знает их под обозначениями Х и У и в конце игры говорит либо: „Х есть А, и У есть В“, либо: „Х есть В, и У есть А“. Ему разрешается задавать вопросы такого, например, рода: С: „Попрошу Х сообщить мне длину его (или ее) волос“.»

Что мы здесь имеем? Тьюринг отказывается определять, что является машиной и мышлением, подменяя это на игру, в которой изначально есть два человека, да плюс «кто-нибудь задающий вопрос». Чтобы провернуть такой трюк, Тьюринг должен был доказать, что сам вопрос о машине и мышлении мог быть сведен к подобной игре. Но для этого потребовалось бы дать определение и машине, и мышлению, а именно этого Тьюринг пытается избежать. В принципе, уже здесь можно попытку Тьюринга счесть негодной, но проследим за его мыслью дальше.

«Кто-нибудь задающий вопросы» заменяется на машину. Правда, раз мы не знаем, что такое машина, то возможность такой замены под вопросом. Тьюринга это не смущает и даже не интересует. Его интересует, а будет ли машина ошибаться в ответе на вопрос, кто — мужчина, а кто — женщина, чаще человека.

Через несколько страниц, забыв, что определение «машины» он давать не хотел, Тьюринг все-таки пытается описать, что же является машиной. Он вводит ограничение, что машиной будет считаться только ЭВМ, а дальше дает описание этих ЭВМ.

ЭВМ, по мысли Тьюринга, заменяет человека-вычислителя. У человека-вычислителя есть сборник правил, которых он должен придерживаться при вычислении. Есть у него и неограниченный набор бумаги, чтобы проводить вычисления, а также арифмометр для операций сложения и умножения. В ЭВМ человек-вычислитель реализуется через 1) запоминающее устройство, 2) исполнительное устройство, 3) контролирующее устройство. Запоминающее устройство — это бумага вычислителя, исполнительное устройство — это механизм, позволяющий производить вычисления. Контролирующее устройство следит за тем, чтобы надлежащим образом выполнялась книга правил, по которым производятся вычисления. В ЭВМ эта книга правил называется «таблицей команд».

В запоминающем устройстве информация разбивается на части и хранится в отдельных ячейках, каждая из которых имеет свой номер. В таблице команд каждая команда отсылает к конкретной ячейке памяти, из которой нужно извлечь число, над которым затем производится арифметическая операция. Тьюринг особо выделяет команду выполнения условия. Вот пример такой команды: «Если ячейка 4505 содержит 0, выполнить команду, хранящуюся в ячейке 6707, в противном случае продолжать идти по порядку».

В итоге процесс выглядит так. Спрашиваем человека-вычислителя, как он производит вычисления. Разбиваем это на команды и заносим в таблицу команд. На основании таблицы команд ЭВМ производит вычисление.

ЭВМ являются «машинами с дискретными состояниями», то есть с отличимыми друг от друга состояниями. Мы подаем дискретные команды на вход машины, она, руководствуясь таблицей команд производит вычисления, на выходе машина выдает одно из дискретных состояний, например «включено», «выключено». ЭВМ являются «универсальными машинами», потому что ЭВМ может имитировать любую машину с дискретным состоянием.

Проследим путь Тьюринга. Он ставил вопрос о мышлении машины, не пытаясь дать определение ни машине, ни мышлению. Затем машина была описана так, что ее свойствами стали «дискретность» и «универсальность». Раз вопрос о мышлении машины был заменен вопросом о способностях машины, а способности машины описаны, как «дискретные» и «универсальные», то представление о мышлении свелось к «дискретности» и «универсальности». Таким ловким трюком мышление машины, которое предполагается равным мышлению человека, свелось к дискретности, а значит и мышление человека было сведено к дискретности. Итак, изначальный вопрос игры в имитацию теперь сводится к следующему: «Если взять только одну конкретную цифровую вычислительную машину Ц, то, спрашивается: справедливо ли утверждение о том, что, изменяя емкость памяти этой машины, увеличивая скорость ее действия и снабжая ее подходящей программой, можно заставить Ц удовлетворительно исполнять роль А в игре в имитацию» (причем роль В будет исполнять человек)?»

Ловко? Ловко. Вот оцените: «Первоначальный вопрос „могут ли машины мыслить?“ я считаю слишком неосмысленным, чтобы он заслуживал рассмотрения. Тем не менее я убежден, что к концу нашего века употребление слов и мнения, разделяемые большинством образованных людей, изменятся настолько, что можно будет говорить о мыслящих машинах, не боясь, что тебя поймут неправильно.»

Тьюринг в начале статьи всего лишь признал, что дать определение мышления и машины нельзя, теперь же он утверждает, что сам вопрос смысла не имеет. Смысл имеет только тот вопрос, который сформулировал Тьюринг в своей «игре в имитацию». Как это называется? Это называется позитивизмом, когда решение действительной проблемы объявляется «слишком неосмысленным», а затем действительная проблема подменяется «наблюдаемой», той, в отношении которой можно провести эксперимент, наблюдение. Вот подобное и громил Ленин в своей знаменитой работе «Материализм и эмпириокритицизм».

В статье Тьюринг много места отводит возражениям, которые можно выдвинуть против его идеи. Мы их здесь разбирать не будем, ни сами эти возражения, ни ответ на них со стороны Тьюринга ничего не прибавляют к описанию машины и мышления, данному выше. Отметим только, что среди этих возражений нет ничего диалектического и никаких отсылок к тому, что человек, в отличие от машины, существо общественное, что мышление — продукт общественного развития. Отказавшись от вопроса о мышлении машины, Тьюринг подменил его «игрой в имитацию», а затем на дело истории оставил проверку своей «игры». Попутно Тьюринг еще упомянул об обучающихся машинах, что станет популярным в 50-ые и 60-ые. Однако и это не относится к главному, что сделал Тьюринг — заменил действительный вопрос на его позитивистский вариант. В любом случае это показывает, чем были машины, с которыми сравнивали человека, и к чему стремились ученые, последовавшие за Тьюрингом, а последовали за ним все.

Мы видели предпосылки появления ЭВМ, теории, что мозг — это машина. Однако ЭВМ явно не дотягивала до человека, нужно было понять почему. Так появляется два направления. Одни полагали, что нужно взять что-то элементарное в мозге человека, а затем заставить это элементарное обучаться. Нейроны Мак-Каллока и были таким «элементарным» элементом мозга, идею же подсадить обучение в этот нейрон разовьет уже Розенблат. Другое направление полагало, что нужно просто перенести в ЭВМ все те знания, которые накопило человечество. Это направление постарается воспроизвести в ЭВМ те способности, которыми наделен человек — распознавать изображение, разговаривать.

До начала 70-ых ученые были полны оптимизма. Именно в этой работе Тьюринг предлагает «игру в имитацию». То, как Тьюринг предлагает отличить человека от машины, по формально заданным и полученным ответам, много говорит о том, как видел Тьюринг мир. Но и о мире, который не просто принял эту игру, но и вполне серьезно ее обсуждал, это говорит не меньше. Построения Тьюринга легко разбивались пониманием человека через труд, взаимодействие с миром, то есть понимание диалектическое, марксистское. Но ведь ученые Запада не были ни марксистами, ни диалектиками. Поэтому, например, они с удивлением и только в 60-ых узнают, что значение слов определяется их применением в практике человека. Из этого разовьется целое «научное» направление (Куайн). Только через такое полное отстранение от диалектики и марксизм можно понять и появившийся чуть позже аргумент Серля против Тьюринга. Спор, который в принципе не мог возникнуть при действительно научном подходе к миру, вполне серьезно продолжался и финансировался.

Здесь еще важно, что сама уверенность в том, что можно создать из 0 и 1 интеллект уровня человеческого никуда не исчезла, а только получила подпитку от идей Тьюринга. Благодаря успехам ЭВМ, а также укреплявшейся вере в способность ЭВМ подменить человека, в глазах ученых мир становился все более дискретным — считали, что мозг воспринимает мир дискретно, сам мир был дискретным. Возьмем такой аналоговый прибор как линейку. Мы можем измерить линейкой только длину. Однако если мы превратим весь мир в 0 и 1, а нашей линейкой будет что-то цифровое, то есть работающее с 0 и 1, то мы сможем измерить весь мир. Этими позитивистскими идеями и была полна философия, наука.

В те же 50-ые появляются статьи о машинах, играющих в шахматы, да и сами машины. Поскольку игры должны же свидетельствовать об уме, постольку попытки научить машины играть считались приближением к созданию электронного интеллекта. В это же время начинают заниматься машинным переводом. Опять-таки, раз отличительной чертой человека является язык, то не приблизит ли создание ИИ обучение машины языку? Или решение задач? Ньюэлл, Саймон начинают разработку эвристического подхода. Машина может перебрать все варианты и найти решение, но это слишком долго, да и может быть невозможным. Вот тогда пригодятся эвристики. Можно подсмотреть как человек решает задачки, не всегда следуя строгим правилам, а затем научить этим правилам машину. В 1957 появляется «Общий решатель задач» (GPS), а за этим направлением постепенно закрепляется название «искусственный интеллект». В 1956 начинают использовать термин «искусственный интеллект» по названию семинар