автордың кітабынан сөз тіркестері  Грокаем глубокое обучение с подкреплением

Мигель Моралес

представляю время, когда мы будем для роботов тем же, чем сейчас собаки являются для людей, и болею за машины.

Она лежит в основе так называемой временной задачи присваивания коэффициентов доверия — в определении того, какое состояние и/или действие привело к получению вознаграждения. Когда у задачи есть временная составляющая, а у действия — отложенные последствия, наградам сложно присвоить коэффициенты доверия.

Жадность в пределе с бесконечным исследованием и теория стохастической аппроксимации

Жадность в пределе с бесконечным исследованием (greedy in the limit with infinite exploration, GLIE) — это набор требований, которым должен соответствовать алгоритм стратегического RL, такой как Монте-Карло или SARSA, чтобы гарантировать сходимость в оптимальной политике. Требования следующие:

• все пары «состояние — действие» должны исследоваться бесконечно часто;

• при схождении политика должна становиться жадной.

Помните также, что нестратегическое обучение — один из трех элементов, которые в совокупности гарантированно приводят к расхождению, два других — бэг­гинг и аппроксимация функций.

Уравнения обновлений в SARSA и Q-обучении

Что, если мы хотим учиться на более ранних ошибках? Или на чужих? Стратегические методы этого не позволяют. А вот нестратегическое, или офлайн-обучение (off-policy), позволяет как бы «учиться на чужих ошибках». Агент исследует политику, не связанную с полученным им опытом. Здесь применяются две политики: поведенческая (для генерации опыта и взаимодействия со средой) и целевая, которую мы формируем. SARSA — стратегический метод, а Q-обучение — нестратегический.

Q-обучение: действуем оптимально, даже если не хотим
Алгоритм SARSA — это что-то вроде «разведки боем». Агент исследует ту же политику, которую он использует для получения опыта. Такой тип обучения называют стратегическим, или онлайн-обучением (on-policy).

Задачи и методы пакетного обучения. Обычно пакетное обучение — это либо тип задач обучения, где образцы опыта статические и доступны заранее, либо тип методов, оптимизированных для синхронного использования целых наборов кортежей опыта.

Задачи и методы офлайн-обучения. Как правило, офлайн-обучение — это либо постановка задачи, где предусмотрена симуляция сбора данных (в противовес настоящей онлайн-среде), либо методы обучения постфактум — например, между эпизодами. Отмечу, что в офлайн-методах обучение и взаимодействие тоже могут чередоваться, но производительность улучшается только после получения выборки. Это похоже на растущие пакетные методы, описанные выше, с той лишь разницей, что старые выборки обычно отбрасываются: то есть данные не накап­ливаются.

Задачи и методы онлайн-обучения. Онлайн-обучение — это либо одновременное обучение и взаимодействие с динамической системой, как у роботов, либо методы обучения на новейшем опыте, собираемом после каждого временного шага.

Заметьте, что офлайн- и онлайн-обучение зачастую используются в разных контекстах.