Pretrained» (предварительно обученный) — означает, что модель была обучена на большом наборе данных до того, как вы начали с ней взаимодействовать. Этот процесс предварительного обучения включает статистическое изучение данных — в результате которого модель запоминает множество различных аспектов языка, включая синтаксис, грамматику, стиль, контекст, факты и даже некоторые аспекты культуры и истории, которые были отражены в данных (текстах, на которых шло обучение).