XML Sitemap

Файл Sitemap (карта сайта) добавляется в корневую директорию сайта и дает поисковым системам информацию о том, какие страницы сайта должны быть проиндексированы, какие из них впервую очередь, как часто они обновляются.

Если на сайте уже есть файл Sitemap (желательно вформате XML), то проверьте корректность его кода спомощью валидатора (такой инструмент есть, в частности, в сервисах для веб-мастеров от Яндекса и Google). Позаботьтесь также о том, чтобы файл Sitemap содержал не более 50 тыс. URL и весил не более 10 Мб. Если эти лимиты превышены, то придется создать несколько файлов Sitemap и один индексный файл Sitemap Index со списком всех карт.

Если карты сайта пока нет, создайте ее вручную или с помощью одного из множества инструментов (например, XML Sitemap и его аналогов, плагинов для WordPress и других распространенных движков; с бОльшим списком инструментов можно ознакомиться на ресурсах Google).

После создания проанализируйте карту в валидаторе и сообщите поисковым системам о ее существовании через их сервисы для веб-мастеров, а также посредством добавления пути к Sitemap в файл robots.txt.

Карта сайта – это форма дополнительной навигации по сайту. С её помощью пользователь может передвигаться по сайту, не использую навигацию сайта.

Карта (Sitemap) – всего лишь помощь “заблудившемуся” посетителю, модель структуры сайта, целиком размещенная на одной странице.

Как прописать sitemap в robots.txt

User – agent: *
Disallow:
Sitemap: http://www.xxx.ru/sitemap.xml

Здесь тоже разрешено ботам всех поисковых систем индексировать все файлы, папки и страницы. Кроме этого, указывается расположение карты сайта (Sitemap) в формате .xml.

Отношение web-мастеров к Sitemap самое разнообразное. Одни считают, что без неё поисковые системы плохо индексируют сайт, другие уверены, что наличие карты сайта негативно сказывается на индексации.

Создать её можно либо самостоятельно, либо воспользоваться бесплатным сервисом, который сам на основе существующего сайта, создаст вам Sitemap, в том числе - и в формате .xml.

Markup Validator – валидатор html-кода для устранения неточностей и ошибок кода, снижающих позиции сайта в выдаче. Создан сообществом, которое занимается разработкой и утверждением международных стандартов веб-разработки.