улучшенные функции активации;
• улучшенные схемы инициализации весов, начиная с предварительного послойного обучения (от которого быстро отказались);
• улучшенные схемы оптимизации, такие как RMSProp и Adam.