Все просто, умножение чистой ошибки на input меняет знак direction_and_amount, если input имеет отрицательное значение. Такое обращение знака гарантирует изменение веса в правильном направлении, даже когда input имеет отрицательное значение.
Грокаем глубокое обучение
·
Эндрю Траск
