Модель GPT-2, разработанная OpenAI, обучена предсказывать следующее слово в отрывке текста. Если модель BERT была ответом компании Google на появление ранней версии модели OpenAI GPT, то GPT-2 — это прямой ответ на BERT. В отличие от двунаправленной модели BERT, GPT-2 является однонаправленной. Таким образом, для формирования представления текущего слова GPT-2 не использует информацию из слов, следующих за ним, и поэтому предназначена для решения задач генерирования предложений, таких как рассматривавшаяся в главе 6 задача генерирования текста в стиле басен Эзопа
История генеративного моделирования коротка, если сравнивать ее с более широко изученным дискриминационным моделированием — изобретение генеративно-состязательных сетей (GAN) в 2014 году можно, пожалуй, рассматривать как искру, разжигающую пламя. На рис. 9.1 показана сводная информация о ключевых событиях в генеративном моделировании, многие из которых мы уже исследовали в этой книге.
Это ни в коем случае не исчерпывающий список — существуют десятки разновидностей генеративно-состязательных сетей, новаторских в своих областях (например, генерирующие видео или преобразующие текст в изображение). Здесь я покажу подборку самых последних разработок, которые раздвинули границы генеративного моделирования в целом.
мы можем представить, что существует какое-то неизвестное вероятностное распределение, объясняющее, почему одни изображения могли бы присутствовать в обучающем наборе, а другие нет. Наша задача — создать модель, максимально точно имитирующую это распределение, а затем произвести выборку из нее, чтобы сгенерировать новые наблюдения, которые выглядят так, будто могли бы иметься в исходном обучающем наборе.
Концептуально генерация изображений — невероятно сложная задача, учитывая огромное количество способов выбора значений для отдельных пикселов и относительно крошечное число вариантов такого их расположения, когда получается изображение, похожее на моделируемый объект.
Генеративная модель описывает, как генерируется набор данных, с точки зрения вероятностной модели. Используя эту модель, можно генерировать новые данные.
что подразумевается под названием генеративная модель и чем генеративное моделирование отличается от более широко известного дискриминативного моделирования.
Первым делом определим четыре ключевых термина: выборочное пространство, функция плотности, параметрическое моделирование и оценка максимального правдоподобия.
• Предполагается, что наблюдения сгенерированы в соответствии с некоторым неизвестным распределением pdata.
• Генеративная модель pmodel пытается имитировать pdata. Правильно подобрав модель pmodel, мы сможем с ее помощью генерировать наблюдения, которые выглядят так, будто были получены из pdata.
• Модель pmodel впечатлит нас, если:
• Правило 1: она сможет генерировать образцы, которые выглядят так, будто получены из pdata.
• Правило 2: она сможет генерировать образцы, отличающиеся от наблюдений в X. То есть модель не должна просто воспроизводить уже известные ей наблюдения.
Область генеративного моделирования разнообразна, и определения задач могут принимать самые разные формы. Однако в большинстве сценариев базовые принципы генеративного моделирования достаточно полно отражают то, насколько широко мы должны думать о решении задачи.
если мы действительно зададимся целью создать машину, обладающую интеллектом, сравнимым с человеческим, то нам определенно потребуется использовать приемы генеративного моделирования. Один из ярких примеров генеративной модели в природе — человек, читающий эту книгу. Отвлекитесь на минутку и проведите мысленный эксперимент, который поможет вам понять, насколько невероятной генеративной моделью вы являетесь. Вы можете закрыть глаза и представить, как будет выглядеть слон под любыми возможными углами зрения. Вы можете вообразить ряд возможных концовок вашего любимого телешоу и спланировать свою неделю наперед, прорабатывая разные варианты будущего в своем воображении. Современная нейробиологическая теория предполагает, что наше восприятие реальности — это не сложная дискриминативная модель, получающая информацию от органов чувств и производящая предсказания на ее основе, а генеративная модель, которая с рождения обучается моделированию нашего окружения, точно соответствующего будущему. Некоторые теории даже предполагают, что результатом этой генеративной модели является наше непосредственное восприятие реальности. Очевидно, что глубокое понимание того, как создавать машины, обладающие этими способностями, будет иметь ключевое значение для нашего дальнейшего понимания работы мозга в частности и искусственного интеллекта в целом.
Помимо практического применения (многие варианты которого пока не обнаружены), существуют еще три причины, по которым генеративное моделирование можно считать ключом к гораздо более сложным формам искусственного интеллекта, недоступным для дискриминативного моделирования.
Во-первых, с чисто теоретической точки зрения мы не должны довольствоваться успехами в области классификации данных, но должны стремиться к более полному пониманию, как эти данные были созданы. Это, несомненно, более трудная задача из-за высокой размерности пространства возможных выходных данных и относительно небольшого числа творений, которые мы классифицировали бы как принадлежащие набору данных. Однако, как мы увидим далее, многие из методов, которые привели к развитию дискриминативного моделирования, такие как глубокое обучение, могут использоваться и в генеративных моделях.
Во-вторых, весьма вероятно, что генеративное моделирование окажет существенное влияние на выбор направления будущих разработок в других областях машинного обучения, таких как обучение с подкреплением (когда обучаемый агент получает возможность оптимизировать цели методом проб и ошибок). Например, обучение с подкреплением можно использовать, чтобы обучить робота ходить по данной местности. Для этого можно построить компьютерную имитацию местности, а затем провести множество экспериментов, дав агенту возможность опробовать разные стратегии. Со временем агент выявит наиболее успешные стратегии и, следовательно, будет постепенно совершенствоваться. Типичная проблема этого подхода состоит в том, что физика окружающей среды часто очень сложна и ее необходимо рассчитывать на каждом временном шаге, чтобы передать информацию агенту для принятия решения о его следующем шаге. Однако если агент сможет моделировать свое окружение с помощью генеративной модели, то ему не придется проверять стратегию в компьютерной модели или в реальном мире, поскольку он сможет учиться в своем воображаемом окружении. В главе 8 мы увидим эту идею в действии, на примере обучения автомобиля максимально быстрому движению по трассе, позволив ему учиться непосредственно на собственной галлюцинации.
