Robots.txt – специальный текстовый документ в корневой папке Вашего сайта. В нём содержатся специальные инструкции для поисковых систем. При помощи данного файла можно запрещать индексацию сайта или отдельных страниц, указать главное зеркало ресурса, указать путь к специальному файлу sitemap.
Полезность robots.txt ярко наблюдается на примере закрытия индексирования тех. разделов Вашего сайта. Если эти технические разделы Читать далее
