Нужно, чтобы модель была достаточно мощной (в ней было бы достаточно «кнопок» для настройки), чтобы она смогла выучить весь обучающий набор, то есть достаточно близко подойти ко всем точкам.
Но модель должна быть не слишком мощной, чтобы она не пыталась точно пройти через все точки, делая слишком много «волн» и скрывая общую закономерность за частными вариантами — это бы сделало ее неспособной верно интерполировать.
Как учится машина. Революция в области нейронных сетей и глубокого обучения
·
Ян Лекун
