автордың кітабынан сөз тіркестері  PyTorch. Освещая глубокое обучение

Томас Виман, Эли Стивенс, Лука Антига

репозитории препринтов arXiV, расположенном по адресу https://arxiv.org/5.

https://github.com/pytorch/vision

https://arxiv.org/pdf/1512.00567.pdf

https://arxiv.org/pdf/1512.03385.pdf

Математики, физики и инженеры связывают тензоры с понятиями пространств, систем отсчета и преобразований между ними. Как бы то ни было, здесь об этих понятиях речь не идет. В контексте глубокого обу­чения тензоры связаны с обобщением векторов и матриц на произвольную размерность, как можно видеть на рис. 3.2. Говоря другими словами, речь идет о многомерных массивах. Размерность тензора соответствует числу индексов, при помощи которых можно ссылаться на скалярные значения внутри тензора.

Набор данных ImageNet, подобно нескольким другим общедоступным наборам данных, появился в результате научных конкурсов. Такие конкурсы традиционно служат одними из главных площадок соревнования исследователей из различных учреждений и компаний. В частности, с момента своего появления в 2010 году большую популярность обрел конкурс крупномасштабных распо­знаваний зрительных образов ImageNet (ImageNet Large Scale Visual Recognition Challenge, ILSVRC). Этот конкретный конкурс включает в себя несколько заданий, меняющихся от года к году, например классификацию изображений (выяснение, какие категории объектов содержит изображение), локализацию объектов (определение местоположения объектов на изображении), обнаружение объектов (выявление и маркирование объектов на изображениях), классификацию обстановки (классификация общего плана на изображении) и разбор обстановки (разбиение изображения на области, относящиеся к различным семантическим категориям, например «корова», «дом», «сыр», «шляпа»). В частности, задача классификации изображений состоит в получении на основе входного изображения списка из пяти описывающих содержимое изображения меток (из общего списка в 1000 категорий), отсортированных по степени достоверности.

Предобученная нейронная сеть в чем-то подобна программе, которая принимает входные данные и формирует выходные. Поведение такой программы в плане желаемых пар «вход/выход» или нужных свойств определяется архитектурой нейронной сети и примерами, просмотренными ею во время обучения. Готовая модель — быстрый способ ускоренного запуска проекта глубокого обучения за счет использования опыта разработавших модель исследователей и вычислительного времени, затраченного на ее обучение.

Благодаря тензорам и стандартной библиотеке операций над ними с автоматическим дифференцированием PyTorch может применяться в физике, визуализации, имитационном и обычном моделировании, а также во многих других областях — PyTorch используется самыми разнообразными способами в целом спектре научных приложений. Но PyTorch прежде всего библиотека глубокого обучения, а потому предоставляет пользователям все базовые элементы, необходимые для создания и обучения нейронных сетей.

из соображений быстродействия большая часть PyTorch написана на C++ и CUDA (https://www.geforce.com/hardware/technology/cuda), C++-подобном языке программирования от NVIDIA, позволяющем компилировать программы для массово-параллельного выполнения на GPU. К PyTorch можно непосредственно обращаться из C++, и мы обсудим это в главе 15. Эта возможность, в частности, появилась, чтобы предоставить надежную стратегию развертывания моделей в производстве. Впрочем, большую часть времени мы будем работать с PyTorch из Python, создавая модели, обучая их и решая с помощью обученных моделей настоящие задачи.

Глубокое обучение использует большие объемы данных для аппроксимации сложных функций, входные и выходные данные которых сильно отличаются (например, изображение на входе и строка текста с описанием этого изображения на выходе; или рукопись на входе и читающий их естественно звучащий голос на выходе; или, еще проще, связывание изображения золотистого ретривера с флагом, сообщающим: «Да, здесь есть золотистый ретривер»). Подобные возможности позволяют создавать программы с функциональностью, доступной ранее исключительно людям.