В более общем плане градиентный спуск выполняется следующим образом:

Рассчитываем стоимость обучения для текущего значения вектора параметров (в текущей точке).
Измеряем наклоны по каждой из осей и собираем наклоны в векторе градиента g.
Модифицируем вектор параметров в направлении, противоположном градиенту. Для этого мы инвертируем знаки компонентов градиента, а затем умножаем их на константу e, которая определяет размер шага.
Наконец, добавляем полученный вектор к вектору параметров. Другими словами, заменяем каждый компонент вектора параметров его текущим значением за вычетом соответствующего компонента вектора градиента, умноженного на размер шага e.