Как создать Центр искусственного интеллекта за 100 дней
В мае 2021 года мне выпала уникальная возможность стать человеком, перед которым была поставлена задача создать Центр разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана.
За сто мимолётных дней невероятно жаркого лета 2021 года была проведена огромная и сложная работа!
Это книга дарит вам всю полноту эмоций, полученного опыта и невероятные знания о будущем.
Приятного вам чтения!
Искренне Ваш, Александр Чесалов.
За сто мимолётных дней невероятно жаркого лета 2021 года была проведена огромная и сложная работа!
Это книга дарит вам всю полноту эмоций, полученного опыта и невероятные знания о будущем.
Приятного вам чтения!
Искренне Ваш, Александр Чесалов.
Жас шектеулері: 12+
Құқық иегері: ООО "Издательские решения"
Түпнұсқа жарияланған күн: 2024
Басылым шыққан жыл: 2024
Баспа: Ridero
Қағаз беттер: 341
Дәйексөздер63
Основным алгоритмом для обучения глубоких нейронных сетей является метод обратного распространения ошибки (Backpropagation). Данный метод позволил достичь существенной точности обучения глубоких нейронных сетей. Например, для компьютерного зрения, сверточные нейронные сети показывают уровень различных метрик качества распознавания, существенно превышающий усредненный человеческий уровень в 95% по определению образов и объектов.
Однако, метод Backpropagation содержит серьезный недостаток, не позволяющий применять его для обучения сверхбольших нейронных сетей: количество вычислений для обучения нейронных сетей, растет по степенной функции в зависимости от количества ячеек нейронной сети. Это происходит из-за итерационного характера обучения нейронных сетей. Таким образом, для обучения сверхбольших нейронных сетей размером с человеческий мозг, необходимо использовать другие методы, отличные от обратного распространения ошибки (Backpropagation), в которых зависимость количества вычислений от количества ячеек нейронных сетей будет представлять собой линейную математическую зависимость.
Подтверждением возможного существования таких методов и их эффективности являются устройство и принципы работы нейронов в человеческом мозгу. Сигналы через нейронную клетку человеческого мозга проходят через дендриты и аксон и распространяются в одном направлении, таким образом подтверждая, что линейные математические зависимости количества вычислений для обучения искусственных нейронных сетей от количества ячеек возможны. Таким образом, современные методы обучения искусственных нейронных сетей не совпадают с принципами обучения человеческого мозга, и существует высокая теоретическая возможность найти замену Backpropagation.
Научные исследования в поисках замены Backpropagation ведутся во всем мире несколько лет и отражены в нескольких научных статьях, в частности (открытый список):
— Manneschi, L. and Vasilaki, E., 2020. An alternative to backpropagation through time. Nature Machine Intelligence, 2 (3), pp.155—156.
— Bellec, G., Scherr, F., Hajek, E., Salaj, D., Legenstein, R. and Maass, W., 2019. Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets. arXiv preprint arXiv:1901.09049.
— Chung, S., 2020. An Alternative to Backpropagation in Deep Reinforcement Learning. arXiv preprint arXiv:2010.07893.
— Norsigian, C.J., Pedersen, J., Ramesh, V. and Mostafa, H., Neuron Selectivity as a Biologically Plausible Alternative to Backpropagation.
— Tallec, C. and Ollivier, Y., 2017. Unbiased online recurrent optimization. arXiv preprint arXiv:1702.05043.
— Ma, W.D.K., Lewis, J.P. and Kleijn, W.B., 2020, April. The HSIC bottleneck: Deep learning without back-propagation. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 34, No. 04, pp. 5085—5092).
Однако, метод Backpropagation содержит серьезный недостаток, не позволяющий применять его для обучения сверхбольших нейронных сетей: количество вычислений для обучения нейронных сетей, растет по степенной функции в зависимости от количества ячеек нейронной сети. Это происходит из-за итерационного характера обучения нейронных сетей. Таким образом, для обучения сверхбольших нейронных сетей размером с человеческий мозг, необходимо использовать другие методы, отличные от обратного распространения ошибки (Backpropagation), в которых зависимость количества вычислений от количества ячеек нейронных сетей будет представлять собой линейную математическую зависимость.
Подтверждением возможного существования таких методов и их эффективности являются устройство и принципы работы нейронов в человеческом мозгу. Сигналы через нейронную клетку человеческого мозга проходят через дендриты и аксон и распространяются в одном направлении, таким образом подтверждая, что линейные математические зависимости количества вычислений для обучения искусственных нейронных сетей от количества ячеек возможны. Таким образом, современные методы обучения искусственных нейронных сетей не совпадают с принципами обучения человеческого мозга, и существует высокая теоретическая возможность найти замену Backpropagation.
Научные исследования в поисках замены Backpropagation ведутся во всем мире несколько лет и отражены в нескольких научных статьях, в частности (открытый список):
— Manneschi, L. and Vasilaki, E., 2020. An alternative to backpropagation through time. Nature Machine Intelligence, 2 (3), pp.155—156.
— Bellec, G., Scherr, F., Hajek, E., Salaj, D., Legenstein, R. and Maass, W., 2019. Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets. arXiv preprint arXiv:1901.09049.
— Chung, S., 2020. An Alternative to Backpropagation in Deep Reinforcement Learning. arXiv preprint arXiv:2010.07893.
— Norsigian, C.J., Pedersen, J., Ramesh, V. and Mostafa, H., Neuron Selectivity as a Biologically Plausible Alternative to Backpropagation.
— Tallec, C. and Ollivier, Y., 2017. Unbiased online recurrent optimization. arXiv preprint arXiv:1702.05043.
— Ma, W.D.K., Lewis, J.P. and Kleijn, W.B., 2020, April. The HSIC bottleneck: Deep learning without back-propagation. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 34, No. 04, pp. 5085—5092).
самые лучшие Coursera (www.coursera.org) и edX (www.edx.org), позволяющие самым разным людям с самым разным уровнем подготовки получить для себя бесценные знания.
Постарайтесь почаще смотреть вверх на звезды, а не себе под ноги. Попытайтесь понять, что вы видите, не переставайте задаваться вопросами о том, что определяет существование нашей Вселенной. Будьте любознательными. И какой бы сложной не казалась жизнь, всегда есть что-то, что вы можете сделать и в чем преуспеть. Самое главное — просто не сдаваться.
