Вот эквиваленты основных блоков NLP в компиляторах языка программирования:

• токенизатор — сканер, лексический анализатор;

• словарь — лексикон;

• синтаксический анализатор — компилятор;

• токен, терм, слово или n-грамма — токен, символ или терминальный символ.