robots.txt

Данный файл предназначается для роботов поисковых систем и, собственно, регулирует их поведение на вашем сайте. Весь принцип работы сводится к следующему. Робот перемещается по просторам всемирной паутины переходя по ссылкам и ищет различные изменения, после чего передает сведения поисковой и та в своё время осуществляет соответствующую индексацию сайтов.

Переходя на ваш сайт, ПР в первую очередь ищет файл robots.txt и анализирует его. Если его нет, то он начинает сканить всё подряд, но т.к. ваш сайт не единственный, то по истечении определенного времени, он просто уходит с него по первой ссылке сторонний ресурс, и проанализирует то, что успел, в том числе всякий мусор, типа фидов, рсс лент, системных файлов баз данных и т.п., а сам контент, то, что предназначалось именно людям он не заметит.

Как же создать и что писать в файл robots.txt? Тут всё довольно просто. В корневой директории сайта создаете одноименный файл в блокноте и вписываете туда параметры типа:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Host: yandex.ru

Где юзер-агент это название поискового робота, которому предназначается нижестоящие строки файла, а disallow — указывает на то, что индексировать не нужно. Хост — адрес вашего сайта. Уже готовые файлы robots.txt или примеры таких файлов в излишестве можно найти в Сети, поэтому выкладывать их здесь не вижу смысла. Не стоит забывать, что робот.тхт является стандартом при создании сайтов и с его помощью монетизация сайта и продвижение пойдет быстрее, так как в роботе можно запрещать к индексации дубли страниц и проводить много работы по внутренней оптимизации.

Думаю, я Вас убедил, что данный файл необходим. Всем хорошего дня!