Всем привет! За свою «вебмастерскую» карьеру я встречал не один десяток вариантов составления правильного по мнению автора robots.txt для wordpress. Поэтому я решил выложить свой вариант этого файла. За все 3-4 года, что я работаю с этой CMS проблем с индексацией изза роботс.тхт не возникало.
Если у вас нет до сих пор этого файла, то самое время создать его в блокноте и посетить в корень сайта. Правильный robots.txt для яндекса и гугла спешл фор CMS wordpress выглядит так:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ( здесь указывается основной домен, с www или без, например, www.sayt.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://vasha-karta-sayta.ru/sitemap.xml ( тут указывается адрес карты сайта )
Также часто можно встретить немного измененные варианты этого файла. Чаще всего изменения касаются удаления строчек ( Disallow: /wp-comments и Disallow: */comments ) для индексации комментариев поисковыми системами. Вот в этой статье подробно описано о важности комментариев. Скажем для этого блога открытие к индексации текста комментариев ( ссылка уже давно открыта, так как блог dofollow) дало прирост трафика +10-15%, так как в комментариях по сути тот же контент и он несет ценность для поисковых машин.
Вторым частым изменением является добавление еще 1 строчки, связанной с картой сайта. Sitemap: http://vasha-karta-sayta.ru/sitemap.xml.gz , но это условие совсем не обязательное.
Страдать извращениями и добавлять User-agent: YandexBlog я смысла не вижу. Вообще robots.txt для вордпресс надо писать индивидуально под свой проект, но в качестве основы то, что я привел выше Вам вполне сгодится.
Всем хорошего дня!
Я вот думаю может Яндекс из-за неправильного роботса не индексирует мой сайт? Или из-за того что мал да зелен он еще и не имеет необходимого уровня доверия? Ох, нелегкая это работа! Но интересная.
Согласен, трафик помогает в раскрутке dofollow блога. Выборочно поисковая система находит несколько самых актуальных для решения проблемы страниц и бросает их в ТОП. Трафик по сути дает возможность поисковой системе определить тематику и оценить наилучшие материалы на сайте. А вот ссылочное продвижение индивидуально с каждой страницей позволяет провести работы по оптимизации: будет ли это одно слова(через анкор), по которому можно найти в поисковике, или это будет подсказка запроса, сгенерированная как раз ссылочным продвижением.
Ребята, девчата — прошу помощи! Не могу разобраться со своим роботс! Полтора месяца его меняю, а толку мало! Mail вообще не индексирует! Яндекс только 2 страницы добавил в поиск! Гугл 22 проиндексировал а сколько добавил 5 но в них ошибки автор и дата! Кто что подскажет?
Спасибо за робота. Заказал сайт в вебстудии, на вордпрессе делали, там такой робот
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap:
сделаю, как вы написали.
В вебстудии не заморачивались походу.
Спасибо большое, очень помогло. Долго не мог разобраться, но Ваша статья была очень кстати!
Отличный блог, обязательно подпишусь!