Основным алгоритмом для обучения глубоких нейронных сетей является метод обратного распространения ошибки (Backpropagation). Данный метод позволил достичь существенной точности обучения глубоких нейронных сетей. Например, для компьютерного зрения, сверточные нейронные сети показывают уровень различных метрик качества распознавания, существенно превышающий усредненный человеческий уровень в 95% по определению образов и объектов.
Однако, метод Backpropagation содержит серьезный недостаток, не позволяющий применять его для обучения сверхбольших нейронных сетей: количество вычислений для обучения нейронных сетей, растет по степенной функции в зависимости от количества ячеек нейронной сети. Это происходит из-за итерационного характера обучения нейронных сетей. Таким образом, для обучения сверхбольших нейронных сетей размером с человеческий мозг, необходимо использовать другие методы, отличные от обратного распространения ошибки (Backpropagation), в которых зависимость количества вычислений от количества ячеек нейронных сетей будет представлять собой линейную математическую зависимость.
Подтверждением возможного существования таких методов и их эффективности являются устройство и принципы работы нейронов в человеческом мозгу. Сигналы через нейронную клетку человеческого мозга проходят через дендриты и аксон и распространяются в одном направлении, таким образом подтверждая, что линейные математические зависимости количества вычислений для обучения искусственных нейронных сетей от количества ячеек возможны. Таким образом, современные методы обучения искусственных нейронных сетей не совпадают с принципами обучения человеческого мозга, и существует высокая теоретическая возможность найти замену Backpropagation.
Научные исследования в поисках замены Backpropagation ведутся во всем мире несколько лет и отражены в нескольких научных статьях, в частности (открытый список):
— Manneschi, L. and Vasilaki, E., 2020. An alternative to backpropagation through time. Nature Machine Intelligence, 2 (3), pp.155—156.
— Bellec, G., Scherr, F., Hajek, E., Salaj, D., Legenstein, R. and Maass, W., 2019. Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets. arXiv preprint arXiv:1901.09049.
— Chung, S., 2020. An Alternative to Backpropagation in Deep Reinforcement Learning. arXiv preprint arXiv:2010.07893.
— Norsigian, C.J., Pedersen, J., Ramesh, V. and Mostafa, H., Neuron Selectivity as a Biologically Plausible Alternative to Backpropagation.
— Tallec, C. and Ollivier, Y., 2017. Unbiased online recurrent optimization. arXiv preprint arXiv:1702.05043.
— Ma, W.D.K., Lewis, J.P. and Kleijn, W.B., 2020, April. The HSIC bottleneck: Deep learning without back-propagation. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 34, No. 04, pp. 5085—5092).
Однако, метод Backpropagation содержит серьезный недостаток, не позволяющий применять его для обучения сверхбольших нейронных сетей: количество вычислений для обучения нейронных сетей, растет по степенной функции в зависимости от количества ячеек нейронной сети. Это происходит из-за итерационного характера обучения нейронных сетей. Таким образом, для обучения сверхбольших нейронных сетей размером с человеческий мозг, необходимо использовать другие методы, отличные от обратного распространения ошибки (Backpropagation), в которых зависимость количества вычислений от количества ячеек нейронных сетей будет представлять собой линейную математическую зависимость.
Подтверждением возможного существования таких методов и их эффективности являются устройство и принципы работы нейронов в человеческом мозгу. Сигналы через нейронную клетку человеческого мозга проходят через дендриты и аксон и распространяются в одном направлении, таким образом подтверждая, что линейные математические зависимости количества вычислений для обучения искусственных нейронных сетей от количества ячеек возможны. Таким образом, современные методы обучения искусственных нейронных сетей не совпадают с принципами обучения человеческого мозга, и существует высокая теоретическая возможность найти замену Backpropagation.
Научные исследования в поисках замены Backpropagation ведутся во всем мире несколько лет и отражены в нескольких научных статьях, в частности (открытый список):
— Manneschi, L. and Vasilaki, E., 2020. An alternative to backpropagation through time. Nature Machine Intelligence, 2 (3), pp.155—156.
— Bellec, G., Scherr, F., Hajek, E., Salaj, D., Legenstein, R. and Maass, W., 2019. Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets. arXiv preprint arXiv:1901.09049.
— Chung, S., 2020. An Alternative to Backpropagation in Deep Reinforcement Learning. arXiv preprint arXiv:2010.07893.
— Norsigian, C.J., Pedersen, J., Ramesh, V. and Mostafa, H., Neuron Selectivity as a Biologically Plausible Alternative to Backpropagation.
— Tallec, C. and Ollivier, Y., 2017. Unbiased online recurrent optimization. arXiv preprint arXiv:1702.05043.
— Ma, W.D.K., Lewis, J.P. and Kleijn, W.B., 2020, April. The HSIC bottleneck: Deep learning without back-propagation. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 34, No. 04, pp. 5085—5092).
