Существует несколько базовых инструментов, влияющих на взаимодействие поискового робота с сайтом. Вот наиболее распространенные:
1. Файл robots.txt.
2. Файл sitemap.
3. Сервис «Яндекс. Вебмастер».
4. Сервис Google Webmaster.
5. HT TP-заголовок X-Robots-Tag[13].
6. Метатег robots.
7. Тег canonical.
8. Метатеги noindex и noscript (правда, с ними сейчас мало кто работает).
Библия интернет-маркетолога 2.0
·
Иван Барченков
