Функции активации привносят нелинейность в нейронную сеть. Они преобразуют взвешенную сумму входов в нейроне в выходной сигнал. Общие функции активации включают сигмоидную функцию, которая отображает входы в диапазоне от 0 до 1, и выпрямленную линейную единицу (ReLU), которая выводит вход, если он положительный, и 0 в противном случае.
