Что ж, эту тему обмусоливали сотни раз, однако все равно немного освещу ее, дабы, так сказать, освежить память. Для чего же все-таки нужен этот robots.txt?

  Я не буду здесь описывать форматы данного файла- всю необходимую подробную информацию ты можешь найти в faq поисковых систем. Я лишь хочу подчеркнуть значимость и необходимость присутствия этого файла на твоем проекте.

Наверняка многие еще помнят скандалы с Мегафон ( тогда в выдачу попали смс и ммс пользователей, которые они отправляли через бесплатный сервис Мегафона) или скандал, когда данные пользователей и сведения о их заказах в интернет- магазинах стали достоянием общественности. Или скандал с документами сайта госзаказов. Или скандал с данными миграционной службы... Можно перечислять почти до бесконечности. А ведь причиной тому было именно отсутствие или неграмотное заполнение файла robots.txt!

Отсутствие файла robots.txt

Отсутствие или пустота( нулевая длинна) данного файла автоматически дает роботу команду "разрешено индексировать все, что не запрещено". Чувствуете, чем пахнет? абсолютно любая страница твоего горячо любимого сайта, даже тщательно оберегаемая от чужих глаз, может попасть в выдачу. "Нет! Это невозможно! Страницы с конфеденциальными данными генерируются со случайными адресами и имеют ограниченное время жизни!" - можешь воскликнуть ты. Однако, даже в этом случае ты не защищен от индексации. Согласен, роботу не перебрать все возможные адреса, которые могут быть сгенерированы случайным( а точнее- псевдослучайным) образом. Подобный метод псевдозащиты называется "security by obscurity" ( безопасность через неизвесность), и метод этот- порочен, как показывает практика. Почему? Ну возьми, например, счетчики статистики, которые установлены на твоем сайте- они видят и записывают все, и эта информация легко может оказаться в свободном доступе... Так же не забывай про рефереры. Как пример- совсем свежий скандал на xwab.ru( ныне- xwab.org), когда пароли пользователей, которые пользовались автологином, любезно предоставлялись на всеобщее обозрение через статистику лайвинтернет.

Спасение утопающих- дело рук самих утопающих

Полагаю, что примерно так думают разработчики поисковых систем, и они, в общем, правы: предоставив нам в руки набор инструментов robots.txt, они весьма упростили вебмастерам жизнь и лишь наша- твоя и моя! - вина в том, что мы не умеем или не хотим грамотно пользоваться этими инструментами.

Запрещено все, что не разрешено

Именно по такому грамотному алгоритму мы заставим работать поискового паука, если верно заполним файл robots.txt. Учись на ошибках других, мониторь, анализируй, делай выводы- заставь голову работать не только на прием пищи! В конце хочу привести в пример мой роботс, который Яндекс считает вполне приличным:



Вот и все на сегодня. Счастья тебе и удачи, уважаемый вебмастер!