автордың кітабынан сөз тіркестері  Машинное обучение и TensorFlow

Нишант Шакла

ис. 1.7. Расстояние по норме L1 носит название манхэттенского расстояния (или метрики такси), поскольку напоминает маршрут машины по пересечениям улиц Манхэттена.

Вспомогательная функция для построения графика биржевого курса

def plot_prices(prices):

plt.title('Opening stock prices')

plt.xlabel('day')

plt.ylabel('price ($)')

plt.plot(prices)

plt.savefig('prices.png')

plt.show()

Вы можете получить некоторые данные и визуализировать их, используя код из следующего листинга

Проще говоря, на фондовом рынке есть только три действия: покупка, продажа и удержание ценных бумаг.

• Покупка акций по текущей цене уменьшает бюджет, одновременно увеличивая запас ценных бумаг.

• Продажа акций превращает их в деньги по текущему курсу.

• Удержание не производит ни того ни другого. Это действие подразумевает выжидание в течение определенного периода времени и не приносит никакой награды.

На рис. 8.5 представлена возможная политика при наличии данных фондового рынка.

Рис. 8.5. В идеале наш алгоритм должен выполнять операции покупок при низких ценах и операции продаж при высоких. Однократное выполнение этой рекомендации может принести награду приблизительно в 160 долларов. Но реальная прибыль получается, если покупки и продажи выполнять чаще. Вы когда-нибудь слышали термин высокочастотная торговля? Предполагается покупать при низких ценах и продавать при высоких настолько часто, насколько это возможно, чтобы обеспечить максимально возможную прибыль за определенный период времени

Цель состоит в том, чтобы найти политику, применение которой приносит максимальную чистую прибыль на фондовом рынке. Разве это не круто? Давайте сделаем это

Долгосрочную награду называют выгодой. Если известна выгода выполнения определенного действия в определенном состоянии, поиск оптимальной стратегии легко выполнить с помощью обучения с подкреплением. Например, чтобы решить, какое выполнить действие, выбирается действие с максимальной выгодой. Самое сложное, как можно догадаться, состоит в раскрытии значений этой выгоды.

Так и при поездке из дома на работу вы всегда выбираете один и тот же маршрут. Но однажды ваша любознательность берет верх, и вы решаетесь попробовать другой маршрут. Эта дилемма выбора — попробовать новый маршрут или продолжать пользоваться хорошо известным старым маршрутом — является примером дилеммы исследовать или использовать (exploration versus exploitation)

Эта глава охватывает следующие темы:

• Определение обучения с подкреплением

• Реализация обучения с подкреплением

. Краткие итоги
• Нейронная сеть полезна, если для описания набора данных неэффективна линейная модель.

• Автокодировщики относятся к алгоритмам обучения без учителя, которые пытаются воспроизвести свои входные данные, при этом выявляя представляющие интерес структуры в данных.

• Изображения можно без труда подавать в качестве входных данных в нейронную сеть с помощью сглаживания или преобразования в градации серого

Каскадный автокодировщик начальный этап работы выполняет как обычный кодировщик. Он обучается кодированию входных данных в небольшой скрытый слой путем минимизации ошибки преобразования. Скрытый слой теперь рассматривается как вход для нового кодировщика, который пытается кодировать первый слой скрытых нейронов в слой меньшего размера (второй слой скрытых нейронов). Это может быть продолжено произвольным образом. Часто полученные в процессе обучения веса кодирования используются как начальные значения для решения задач регрессии или классификации в глубокой архитектуре нейронной сети.

• Шумоподавляющий автокодировщик (denoising autoencoder) получает входные данные с шумами вместо исходных входных данных и пытается этот шум подавить. Для минимизации ошибки преобразования функция стоимости больше не используется. Теперь попытаемся минимизировать отклонение изображения после шумоподавления от исходного. Интуитивно мы все еще можем воспринимать фотографию даже с царапинами или с нанесенной маркировкой. Если машина тоже видит сквозь шумы входные данные, то, возможно, она лучше понимает их. Модели шумоподавления, как было показано, лучше улавливают характерные признаки изображения.

• Вариационный автокодировщик (variational autoencoder) может создавать новые естественные изображения, непосредственно используя скрытые переменные. Представим, что кодируется изображение мужчины, представленного 100-мерным вектором, а затем изображение женщины как другой 100-мерный вектор. Можно взять среднее двух векторов, пропустить через декодировщик и получить некое изображение, визуально представляющее человека, являющегося чем-то средним между мужчиной и женщиной. Эта генеративная способность вариационного автокодировщика была унаследована у вероятностных моделей, или байесовских сетей

Удобный способ управлять большой размерностью изображений включает два шага:

1. Преобразование изображения в градации серого, которое позволяет соединить значение насыщенности красного, зеленого и синего цвета в интенсивность пиксела (pixel intensity), которая является взвешенным средним насыщенностей цвета.

2. Перестройка изображения размещением данных по строкам. При размещении данных по строкам (row-major order) массив хранится в виде длинного одномерного массива; все размеры массива помещают в конец первой размерности. Это позволяет индексировать изображение одним номером вместо двух. Если изображение имеет размер 3 × 3 пиксела, оно будет перестроено в структуру, показанную на рис. 7.10.

Рис. 7.10. Любое изображение может быть представлено в виде одномерного массива с построчным размещением. Это позволяет представить двумерную структуру как одномерную

Алгоритм генерации файла MP3 получает оригинальный несжатый звук и сжимает его в гораздо меньший файл, который для вас звучит практически так же. Но это потеря означает, что вы не сможете полностью восстановить исходный несжатый звук из кодированной версии. Аналогичным образом в этой главе мы хотим уменьшить размерность данных, чтобы сделать их более работоспособными, при этом нам не обязательно создавать идеально точное воспроизведение.

Этот процесс преобразования входных данных из скрытого слоя носит название декодирования