Если вы решите использовать BatchNormalization перед Activation, то запомнить порядок вам поможет мнемоническое сокращение BAD (BatchNormalization, Activation затем Dropout)!
Генеративное глубокое обучение. Творческий потенциал нейронных сетей
·
Дэвид Фостер