Проблема описания взаимодействия естественного языка и других знаковых кодов, в частности языка тела, получила в лингвистической и семиотической литературе название проблемы мультимодальности [6]. А сравнительно недавно лингвисты и специалисты в области невербальной семиотики заговорили о мультимодальной лингвистике как об отдельной науке, изучающей мультимодальную коммуникацию [7].