Глава 1 — День, когда студент-первокурсник случайно создал нейросеть, которая рисовала только члены
(и другие истории происхождения, объясняющие, почему мы все здесь)
Сразу расставим точки над i̇: вся область искусственного интеллекта началась с того, что в 1940-х годах кучка задротов посмотрела на человеческий мозг, сказала «похоже на схему», а следующие восемьдесят лет доказывала, что они были лишь наполовину неправы.
Это не один из тех скучных учебников, которые начинаются со слов «В 1958 году Фрэнк Розенблатт представил перцептрон…» (хотя до бедняги Фрэнка мы тоже доберёмся через пару страниц). Вместо этого я расскажу настоящую, слегка позорную историю происхождения нейронных сетей — ту, в которой есть кошки, государственные деньги, неприличные каракули и как минимум две «зимы ИИ», достаточно холодные, чтобы заморозить ваш GPU намертво.
1943 — Пьяный математик и психиатр заходят в бар…
Уоррен МакКаллок (нейроучёный) и Уолтер Питтс (подросток-гений, который жил в библиотеке Чикагского университета) публикуют статью под названием «Логическое исчисление идей, имманентных нервной активности». Перевод: они показали, что клетки мозга (нейроны) можно свести к крошечным машинам «да/нет», которые включаются, если достаточно их друзей их ткнут. Другими словами, мозг просто делает бинарную логику на биологических тактовых частотах.
Они понятия не имели, что только что изобрели первый искусственный нейрон. Они также понятия не имели, что через восемьдесят лет люди будут тратить 100 000 долларов только на электричество, чтобы один такой фальшивый нейрон писал фанфики по «South Park».
1958 — Перцептрон, или «У нас дома тоже есть нейроны»
На сцену выходит Фрэнк Розенблатт — обаятельный психолог из Корнелла с бюджетом Пентагона и мечтой. Он строит Mark I Perceptron — монстра размером с комнату, шириной 6 метров, состоящего из моторов, потенциометров и такого количества патч-кордов, что звукорежиссёр бы заплакал. «Нью-Йорк Таймс» печатает заголовок: «Новое устройство ВМС учится на опыте». В статье утверждается, что скоро оно сможет ходить, говорить, видеть, писать, размножаться и осознавать своё собственное существование.
Реальные возможности Mark I Perceptron: он умел определять, находится ли фигура на левой или правой половине картинки. И всё. Мы фактически потратили деньги Холодной войны, чтобы заново изобрести «чётное vs нечётное».
Но хайп был настоящий. ВМС думали, что финансируют Скайнет. Инвесторы готовы были кидать деньги на всё, в питч-деке чего было слово «brain».
1969 — Самый жёсткий разнос в истории академии
Марвин Мински (профессор MIT, настоящий гений и сертифицированный ненавистник) и Сеймур Паперт выпускают тоненькую книжечку под названием Perceptrons. В ней они математически доказывают, что однослойный перцептрон не может решить задачу XOR. Это примерно то же самое, что сказать: «Твоя модная модель мозга даже не может понять, находятся ли два переключателя в разных положениях».
Вся область рухнула за одну ночь. Финансирование высохло. Исследователи переключились на более безопасные темы вроде символического ИИ, который обещал решить всё с помощью старых добрых правил if-then. Нейронные сети стали академическим Волан-де-Мортом — тем-кого-нельзя-финансировать.
Это мы называем Первой зимой ИИ. Она длилась примерно с 1969 по середину 1980-х. Лаборатории закрывались. Аспиранты плакали в свои перфокарты.
1986 — Обратное распространение ошибки, или «Ой, мы это починили»
Два события произошли почти одновременно:
— Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс заново открыли (и нормально объяснили) backpropagation — алгоритм, который позволяет обучать многослойные сети, отправляя сигналы об ошибке назад по сети.
— Все внезапно поняли, что если наставить достаточно перцептронов друг на друга, то XOR перестаёт быть проблемой. Собственно, почти всё перестаёт.
Нейросети вернулись с триумфом. Деньги потекли рекой. Их начали называть «многослойными перцептронами», чтобы отгородиться от позорного бренда 1960-х.
А потом мы опять упёрлись в нехватку вычислительной мощности и наступила Вторая зима ИИ (конец 1980-х — начало 2000-х). Но это уже история для главы 2.
2006 — Легендарный случай «Нейросеть, которая рисовала только члены» (нет, не моя)
У каждой области есть свой фольклор. У физиков — воображаемый кот Шрёдингера. У математиков — чувак, который доказывал Великую теорему Ферма на салфетке.
А у исследователей ИИ есть… Dick-Net.
Где-то в 2006 году аспирант (имя которого история, скорее всего намеренно, стёрла) обучал крошечную свёрточную сеть на датасете из раннего интернета с NSFW-картинками. Цель проекта была научной. Датасет — не очень.
Через несколько дней обучения модель достигла 99% точности — что задним числом должно было быть огромной мигающей надписью «ты всё испортил».
А потом пошли генерации.
Не важно, что студент скормил модели — котов, машины, закаты, белый шум — она выдавала одно и то же.
Члены.
Каждый. Раз.
Хуже того — они были даже не очень похожи. Выглядели как баклажан-эможи после инсульта.
В академическом сообществе этот эпизод неофициально называют: «Первый известный одноклассовый генератор контента для взрослых».
Это идеальная иллюстрация трёх вечных истин машинного обучения:
— Мусор на входе → мусор на выходе
— Переобучение не просто случается — оно случается яростно
— Всегда проверяй датасет дважды, особенно если в нём есть… темы
Эту историю пересказывают в лабораториях почти два десятилетия — наполовину как предостережение, наполовину как мем и наполовину потому, что это самый relatable фейл в истории глубокого обучения.
И именно поэтому, дорогие читатели, у нас не может быть хороших вещей.
Но мы всё равно собираемся их построить.
В следующей главе мы перестанем ржать и выведем backpropagation с нуля (с LaTeX, диаграммами и ровно одним эмодзи какашки для колорита). Пристегнитесь.
