Вначале определяется архитектура соединений нейронной сети, то есть организация слоев нейронов и связей между нейронами. Но весов, то есть параметров взвешенных сумм, в ней нет. Они будут установлены путем обучения.
В сверточной сети обратное распространение градиента регулирует веса таким образом, чтобы нейроны в разных слоях определяли, что важно для распознавания входного изображения. Когда мы обучаем сверточную сеть распознавать объекты на естественных изображениях, некоторые нейроны в первом слое учатся обнаруживать контуры, ориентированные определенным образом, что очень похоже на то, что наши коллеги по нейробиологии наблюдают в зрительной коре головного мозга.
Как учится машина. Революция в области нейронных сетей и глубокого обучения
·
Ян Лекун
