А вот и упоминавшаяся выше хитрость. При работе с NLP, да и с большинством других приложений, не требуется хранить информацию о дисперсии в тематической модели. Документы, которые будут обрабатываться далее, могут быть посвящены совсем другим темам.
В большинстве случаев лучше задать диагональные элементы S-матрицы равными единице, получив в результате прямоугольную единичную матрицу, которая просто меняет форму матрицы «документ — документ» VT так, чтобы она подходила к U-матрице «слово — тема». Таким образом, умножение S-матрицы на какой-либо новый набор векторов документов не перекосит векторы тем в сторону исходного набора (распределения) тем.
Обработка естественного языка в действии
·
Лейн Хобсон
