Правильный robots.txt для CMS wordpress

Правильный robots.txt для CMS wordpress
Правильный robots.txt для CMS wordpress

Всем привет! За свою «вебмастерскую» карьеру я встречал не один десяток вариантов составления правильного по мнению автора robots.txt для wordpress. Поэтому я решил выложить свой вариант этого файла. За все 3-4 года, что я работаю с этой CMS проблем с индексацией изза роботс.тхт не возникало.

Если у вас нет до сих пор этого файла, то самое время создать его в блокноте и посетить в корень сайта. Правильный robots.txt для яндекса и гугла спешл фор CMS wordpress выглядит так:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ( здесь указывается основной домен, с www или без, например, www.sayt.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://vasha-karta-sayta.ru/sitemap.xml ( тут указывается адрес карты сайта )

Также часто можно встретить немного измененные варианты этого файла. Чаще всего изменения касаются удаления строчек ( Disallow: /wp-comments и Disallow: */comments ) для индексации комментариев поисковыми системами. Вот в этой статье подробно описано о важности комментариев. Скажем для этого блога открытие к индексации текста комментариев ( ссылка уже давно открыта, так как блог dofollow) дало прирост трафика +10-15%, так как в комментариях по сути тот же контент и он несет ценность для поисковых машин.

Вторым частым изменением является добавление еще 1 строчки, связанной с картой сайта. Sitemap: http://vasha-karta-sayta.ru/sitemap.xml.gz , но это условие совсем не обязательное.

Страдать извращениями и добавлять User-agent: YandexBlog я смысла не вижу. Вообще robots.txt для вордпресс надо писать индивидуально под свой проект, но в качестве основы то, что я привел выше Вам вполне сгодится.

Всем хорошего дня!

Понравилась статья? Поделиться с друзьями:
Комментарии: 119
  1. Николай

    Cейчас файла robots.txt физически не существует.
    Нет его и невозможно открыть и изменить, WordPress генерирует и отдает виртуальный вариант.

    Интернет напичкан рассуждениями о файле robots.txt, но абсолютно вся информация о robots.txt безнадёжно устарела.

    Не задумывайтесь о файле robots.txt, создавать этот файл не нужно, он уже есть на вашем сайте, генерируется автоматически системой WordPress.

    Сегодня используются другие, современные методы регулирования индексации страниц сайта как замена директивам в robots.txt. Правила индексирования назначают для каждой страницы в отдельности, а не в robots.txt.
    Как это сделать прочтите в настройках плагина All in One SEO Pack.

  2. Andrey

    Сейчас уже можно генерировать роботс специальными сервисами или плагинами.

  3. Герман

    Вот кэш, конечно, зря от индексации закрыли — оттуда могут стили и скрипты подгружаться, которые гугл бот не увидит. Из-за разницы в том, как сайт выглядит для пользователя и для него, он делает выводы. Обычно пессиместические.
    Можно ещё автора закрыть от индексации

  4. Nightt08

    Спасибо, а то по первой поре написал кривого робота

  5. Олег

    Здравствуйте,уважаемые. Я то же когда-то пользовался подобным robots. Но в одно время заменил на другой, менее насыщенный строками. При этом пропали периодически возникающие ошибки и предупреждения. Теперь все в норме. Открыл доступ к скриптам,картинкам. Что-то пытался закрыть через робот,но гуглу все равно обычно. Яндекс более законопослушный. Пришлось вносить некоторые изменения в .htaccess. С уважением

Добавить комментарий для Герман Отменить ответ

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: