Фостер Д. .Генеративное глубокое обучение. Творческий потенциал нейронных сетей
Генеративное моделирование — одна из самых обсуждаемых тем в области искусственного интеллекта. Машины можно научить рисовать, писать и сочинять музыку. Вы сами можете посадить искусственный интеллект за парту или мольберт, для этого достаточно познакомиться с самыми актуальными примерами генеративных моделей глубокого обучения: вариационные автокодировщики, генеративно-состязательные сети, модели типа кодер-декодер и многое другое.
Дэвид Фостер делает понятными и доступными архитектуру и методы генеративного моделирования, его советы и подсказки сделают ваши модели более творческими и эффективными в обучении. Вы начнете с основ глубокого обучения на базе Keras, а затем перейдете к самым передовым алгоритмам.
— Разберитесь с тем, как вариационные автокодировщики меняют эмоции на фотографиях — Создайте сеть GAN с нуля — Освойте работу с генеративные моделями генерации текста — Узнайте, как генеративные модели помогают агентам выполнять задачи в рамках обучения с подкреплением — Изучите BERT, GPT-2, ProGAN, StyleGAN и многое другое.
Модель GPT-2, разработанная OpenAI, обучена предсказывать следующее слово в отрывке текста. Если модель BERT была ответом компании Google на появление ранней версии модели OpenAI GPT, то GPT-2 — это прямой ответ на BERT. В отличие от двунаправленной модели BERT, GPT-2 является однонаправленной. Таким образом, для формирования представления текущего слова GPT-2 не использует информацию из слов, следующих за ним, и поэтому предназначена для решения задач генерирования предложений, таких как рассматривавшаяся в главе 6 задача генерирования текста в стиле басен Эзопа
История генеративного моделирования коротка, если сравнивать ее с более широко изученным дискриминационным моделированием — изобретение генеративно-состязательных сетей (GAN) в 2014 году можно, пожалуй, рассматривать как искру, разжигающую пламя. На рис. 9.1 показана сводная информация о ключевых событиях в генеративном моделировании, многие из которых мы уже исследовали в этой книге.
Это ни в коем случае не исчерпывающий список — существуют десятки разновидностей генеративно-состязательных сетей, новаторских в своих областях (например, генерирующие видео или преобразующие текст в изображение). Здесь я покажу подборку самых последних разработок, которые раздвинули границы генеративного моделирования в целом.
мы можем представить, что существует какое-то неизвестное вероятностное распределение, объясняющее, почему одни изображения могли бы присутствовать в обучающем наборе, а другие нет. Наша задача — создать модель, максимально точно имитирующую это распределение, а затем произвести выборку из нее, чтобы сгенерировать новые наблюдения, которые выглядят так, будто могли бы иметься в исходном обучающем наборе.