Всем привет! За свою «вебмастерскую» карьеру я встречал не один десяток вариантов составления правильного по мнению автора robots.txt для wordpress. Поэтому я решил выложить свой вариант этого файла. За все 3-4 года, что я работаю с этой CMS проблем с индексацией изза роботс.тхт не возникало.
Если у вас нет до сих пор этого файла, то самое время создать его в блокноте и посетить в корень сайта. Правильный robots.txt для яндекса и гугла спешл фор CMS wordpress выглядит так:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ( здесь указывается основной домен, с www или без, например, www.sayt.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://vasha-karta-sayta.ru/sitemap.xml ( тут указывается адрес карты сайта )
Также часто можно встретить немного измененные варианты этого файла. Чаще всего изменения касаются удаления строчек ( Disallow: /wp-comments и Disallow: */comments ) для индексации комментариев поисковыми системами. Вот в этой статье подробно описано о важности комментариев. Скажем для этого блога открытие к индексации текста комментариев ( ссылка уже давно открыта, так как блог dofollow) дало прирост трафика +10-15%, так как в комментариях по сути тот же контент и он несет ценность для поисковых машин.
Вторым частым изменением является добавление еще 1 строчки, связанной с картой сайта. Sitemap: http://vasha-karta-sayta.ru/sitemap.xml.gz , но это условие совсем не обязательное.
Страдать извращениями и добавлять User-agent: YandexBlog я смысла не вижу. Вообще robots.txt для вордпресс надо писать индивидуально под свой проект, но в качестве основы то, что я привел выше Вам вполне сгодится.
Всем хорошего дня!
Подскажите, а как теги скрыть от всех ПС?
Disallow: /tag
Странно, что этого нету в примере. Теги плодят очень много дублей. По сути, если у поста 10 тегов, то он имеет 10 дублей. А это не есть хорошо для поисковых машин и ранжирования сайта.
Имея личный блог, заметил, каждый веб-мастер пытается создать файл robots.txt по своему. Иногда голова кругом идет в догадках, где есть истина. Выложенный вами файл почти повторяет мой, а это уже приятно. Наверное проще обратиться в Яндекс-вебмастер.
Robots.txt в принципе почти у всех разный.
Нужно просто понимать, для чего и позже кропотливо его подстраивать под себя.
Задача же ясна как луч солнца:
поисковики жуткое не любят дублирующиеся страницы.
И так нужно понимать, что
теги, которые тут кстати не указанны.
рубрики
комменты
плагины некоторые
архивы
и т.п.
в общем структура у всех примерно похожа, но в зависимости от сборки блога есть отличия.
Спасибо, хороший, сам использую почти такой же
Спасибо, только что переделал
Файл robots.txt важен, некоторые вебмастера, в силу недостаточности знаний некоторых технических моментов недооценивают его важность, и тогда последствия могут быть довольно плачевными.
К сожалению, бывает и так, что недостаточно внимания этому вопросу уделяют и те, кто учит других создавать и продвигать сайты. Приходилось сталкиваться с раскрученной школой (и даже не с одной), блоги выпускников которой пачками попадали под фильтры, в том числе, по причине неправильно настроенного файла robots.txt.
нужно еще смотреть, какие плагины установлены на вордпресс, то есть плагины для навигации по сайту