Далее следует операция, которая может показаться странной. Слой layer_1 умножается на 2. С какой целью это делается? Не забывайте, что layer_2 будет вычислять взвешенную сумму на основе layer_1. Даже притом, что это взвешенная сумма, она все еще остается суммой значений в layer_1. Если отключить половину узлов в layer_1, сумма уменьшится наполовину. В результате слою layer_2 пришлось бы внимательнее «прислушиваться» к слою layer_1, как это делает человек, наклоняясь к радиоприемнику, если громкость уменьшить слишком сильно. Но во время проверки, когда прореживание не выполняется, громкость восстановится до нормального уровня. Это нарушит способность слоя layer_2 правильно слушать слой layer_1. Мы должны предотвратить это, умножив layer_1 на (1/доля выключенных узлов). В данном случае мы получаем выражение 1/0.5, которое равно 2. Благодаря этому «громкость» слоя layer_1 будет одинакова при обучении и проверке, несмотря на прореживание.
