Поисковые роботы

SEO: Поисковые роботы + видео

Robots.txt – специальный текстовый документ в корневой папке Вашего сайта. В нём содержатся специальные инструкции для поисковых систем. При помощи данного файла можно запрещать индексацию сайта или отдельных страниц, указать главное зеркало ресурса, указать путь к специальному файлу sitemap. Полезность robots.txt ярко наблюдается на примере закрытия индексирования тех. разделов Вашего сайта. Если эти технические разделы Читать далее

vk_like_site