German English French it

раскрутка вашего сайта

Robots.txt

Файл robots.txt по желанию размещается в корневой директории сайта и содержит инструкции поего индексированию для роботов поисковых систем.

С использованием различных директив robots.txt можно:

  • запретить или разрешить роботам индексировать некоторые разделы и страницы сайта или весь сайт целиком;
  • указать путь к карте сайта sitemaps.xml, способствующей правильному индексированию;
  • дать понять роботу, какое зеркало сайта— при наличии нескольких его копий— является главным, и какие зеркала индексировать не нужно;
  • снизить нагрузку на сайт от поисковых роботов, если в определенной ситуации необходимо экономить ресурсы.

При этом разные правила можно создавать для отдельных поисковых систем и даже для разных роботов одной и той же системы.

Используйте все возможности robots.txt. Убедитесь, что запрещено индексирование «секретных» областей сайта, страниц с контентом низкого качества и страниц-дубликатов. Проверьте, разрешен ли доступ ко всем областям сайта, которые должны быть проиндексированы поисковыми системами.

Файл robots – обыкновенный файл с расширением txt, который создают с помощью блокнота. Где находится robots.txt ?Он располагается в корневой директории сайта, и содержит инструкции по индексации для поисковых роботов. Инструкции могут быть, как и общие, так и для конкретных роботов.

 

А теперь немного подробнее о том, как составить правильный robots txt.

 

Основные правила при создании и загрузке файла robots.txt:

 

- не путать название, то есть называть файл robots.txt, а не robot.txt и так далее.

- название файла robots.txt должно быть обязательно написано в нижнем регистре, то есть robots.txt, а не Robots.txt и ROBOTS.TXT и др.

- размещать файл robots.txt необходимо именно в корневой директории сайта, а не в каком другом месте, иначе поисковики его не увидят.

 

Самое важное составить правильный robots txt. Ошибки в содержании этого файла могут привести к тому, что сайт или отдельные его директории или файлы не будут проиндексированы.

 

Вот пример файла robots txt:

 

User-agent: *

Disallow: /buttons/

Disallow: /image/

 

Давайте разберём содержание этого файла. Первая строка user agent. Звёздочка в инструкции User-agent обозначает, что данная инструкция относится ко всем поисковым роботам. Если инструкция предназначена для конкретного поискового робота, то необходимо прописать его имя.

 

Вторая и третья строка запрещают индексацию директорий buttons и image. Обратите внимание, что каждая запрещённая к индексации директория прописана в отдельной строке. Ни в коем случае не совмещайте их в одной строке. Также нельзя переносить строки в пределах одной инструкции.

 

Для Яндекса актуально также писать директиву Host. Эта директива указывает роботу на основное зеркало этого сайта. В этой директиве можно прописать адрес сайта либо с www, либо без www. Какая разница спросите вы? Да никакой. Можно указывать и так, и так. Всё зависит исключительно от вашего желания. Никаких ограничений и ущемлений для вашего сайта не будет. Правильно написать директиву Host нужно так:

 

User-agent: Yandex

Disallow: /buttons/

Host: www.webru.url.ph

 

А теперь приведу конкретные примеры написания файла robots.txt для различных задач.

 

1. Как запретить индексацию сайта всеми поисковыми роботами.

 

User-agent: *

Disallow: /

 

2. Не запрещать весь сайт к индексации всеми поисковыми роботами.

User-agent: *

Disallow:

 

3. Запретить индексацию сайта одним поисковым роботом (например, SeoBot).

User-agent: SeoBot

Disallow: /

 

4. Не запрещать весь сайт к индексации роботом (например, SeoBot) и запретить к индексации всем остальным поисковым роботам.

User-agent: SeoBot

Disallow:

User-agent: *

Disallow: /

 

5. Запретить несколько директорий к индексации всеми поисковыми роботами.

User-agent: *

Disallow: /images/

Disallow: /buttons/

Disallow: /_themes/

 

6. Запретить несколько файлов к индексации всеми поисковыми роботами.

User-agent: *

Disallow: /Square Black.gif

Disallow: /banners-page-small.htm

 

7.Как прописать sitemap в robots.txt

User – agent: *
Disallow:
Sitemap: http://www.xxx.ru/sitemap.xml

 

Основные правила при составлении файла robots txt

 

1. Писать содержимое файла нужно только в нижнем регистре.

2. В каждой инструкции Disallow указывать только одну директорию или один файл.

3. Не менять местами инструкцию user agent disallow.

4. Строка user agent должна быть заполнена. Если инструкция относится ко всем поисковым роботам, то писать звёздочку, а если к конкретному поисковому роботу, то писать его имя.

5. В директиве Host (для Яндекса) адрес писать нужно без протокола http:// и без закрывающего слеша /.

6. Не нужно использовать символы подстановки в инструкции Disallow в виде звёздочки и прочих символов.

7. Стараться не писать комментарии к инструкциям в одной строке с инструкциями.

8. Нельзя пропускать инструкцию Disallow. Если вы не собираетесь ничего запрещать к индексации, то оставьте эту инструкцию пустой.

9. Если вы запрещаете к индексации директивы robots txt, то обязательно пропишите слеши.

10. Самое главное правило – прежде чем залить файл robots.txt на сервер сайта нужно сто раз его проверить и перепроверить во избежание дальнейших недоразумений.

При анализе файла robots.txt вам помогут Яндекс.Вебмастер, Google Webmaster Tools и другие сервисы. Вот несколько ресурсов, которые помогут вам в проведении сео аудита:

  • https://webmaster.yandex.ru/
  • https://google.com/webmasters/tools/
  • https://ru.megaindex.com/
  • https://www.cy-pr.com/
  • https://a.pr-cy.ru/

Указания для поисковых роботов в тэгах

Но для еще более гибкого управления индексированием сайта и его отдельных страниц поместите директивы для поисковых роботов в тэгах.Так вы разрешите или запретите роботам индексирование конкретных страниц и переход по размещенным на них ссылкам.

Powered by CMSimple | Login

nach oben