Одним из способов держать под контролем сложность модели является введение штрафного параметра в процессе регуляризации. Этот новый параметр штрафует модель за сложность, искусственно увеличивая погрешность и этим побуждая алгоритм находить оптимальное соотношение точности со сложностью.