Цитаты из книги авторов Коул Х. ., Ханнес Х. ., Хобсон Л. . Обработка естественного языка в действии

Нормализацию поименованных сущностей и разрешение неоднозначностей называют разрешением кореференций (coreference resolution) или разрешением анафор (anaphora resolution) — особенно это относится к местоимениям и другим названиям, зависящим от контекста.

Закон Ципфа гласит, что в некотором корпусе высказываний на естественном языке частотность любого слова обратно пропорциональна его позиции в таблице частотностей.

Вот эквиваленты основных блоков NLP в компиляторах языка программирования:

• токенизатор — сканер, лексический анализатор;

• словарь — лексикон;

• синтаксический анализатор — компилятор;

• токен, терм, слово или n-грамма — токен, символ или терминальный символ.

Токенизатор для компиляции языка программирования называют сканером (scanner) или лексическим анализатором (lexer).

Taming Text (Manni

Регулярные выражения используют специальный вид (класс) грамматики формального языка, называемый регулярной грамматикой.

Формальные языки — подмножество естественных языков.