SEO блог
Facebook SEO блог о поисковой оптимизации и продвижении сайтов Twitter SEO блог о поисковой оптимизации и продвижении сайтов RSS
SEO блог о поисковой оптимизации и продвижении сайтов
SEO блог о поисковой оптимизации и продвижении сайтов
SEO блог о поисковой оптимизации и продвижении сайтов
Правильный robots.txt для CMS wordpress

Правильный robots.txt для CMS wordpress

Всем привет! За свою “вебмастерскую” карьеру я встречал не один десяток вариантов составления правильного по мнению автора robots.txt для wordpress. Поэтому я решил выложить свой вариант этого файла. За все 3-4 года, что я работаю с этой CMS проблем с индексацией изза роботс.тхт не возникало.

Если у вас нет до сих пор этого файла, то самое время создать его в блокноте и посетить в корень сайта. Правильный robots.txt для яндекса и гугла спешл фор CMS wordpress выглядит так:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ( здесь указывается основной домен, с www или без, например, www.sayt.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://vasha-karta-sayta.ru/sitemap.xml ( тут указывается адрес карты сайта )

Также часто можно встретить немного измененные варианты этого файла. Чаще всего изменения касаются удаления строчек ( Disallow: /wp-comments и Disallow: */comments ) для индексации комментариев поисковыми системами. Вот в этой статье подробно описано о важности комментариев. Скажем для этого блога открытие к индексации текста комментариев ( ссылка уже давно открыта, так как блог dofollow) дало прирост трафика +10-15%, так как в комментариях по сути тот же контент и он несет ценность для поисковых машин.

Вторым частым изменением является добавление еще 1 строчки, связанной с картой сайта. Sitemap: http://vasha-karta-sayta.ru/sitemap.xml.gz , но это условие совсем не обязательное.

Страдать извращениями и добавлять User-agent: YandexBlog я смысла не вижу. Вообще robots.txt для вордпресс надо писать индивидуально под свой проект, но в качестве основы то, что я привел выше Вам вполне сгодится.

Всем хорошего дня!

SEO блог о поисковой оптимизации и продвижении сайтов
1st Ноя 2012
Теги:
SEO блог о поисковой оптимизации и продвижении сайтов

Есть 120 коммент. к “Правильный robots.txt для CMS wordpress”

  1. Мур пишет:

    В современном robots, генерируемым новыми темами wordpress, есть строчка про ajax , что это?

  2. Светлана пишет:

    автор утверждает о том, что если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете “Исключенные страницы” появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Вот и не знаю кому верить…

  3. елена пишет:

    Файл карты сайта сгенерированный сайтом выдал одни страницы с тегами, и вот там оказалось просто 60 страниц с тегами и ни одной статьи. Я его так и запулила на сайт, потом посмотрела и охренела просто. Индексировал это и яндекс и гугл, запретила штук 30 страниц вручную. Сейчас придется возюкаться и запрещать индексировать каждую страницу с тегами дальше?
    Поэтому смотрите свой ситимап перед тем как закинуть на сайт! Сейчас запретила вроде в роботсе индексацию страниц с тегами, но! Мало что изменилось пока. Первый раз имела дело с вордпресс. Если кто-то знает как быстро решить вопрос по другому, скажите пожалуйста.
    P.S.Временное удаление из гугла сделала.

Написать ответ к Мур

Анти-спам: выполните задание


Нажимая на кнопку отправить, я принимаю условия пользовательского соглашения , а также ознакомлен и согласен с политикой конфиденциальности и даю согласие на обработку моих персональных данных.
SEO блог о поисковой оптимизации и продвижении сайтов
 

SEO блог о поисковой оптимизации и продвижении сайтов
Все права защищены © 2012 SEO блог

Пользовательское соглашение и политика конфиденциальности
SEO блог о поисковой оптимизации и продвижении сайтов