Как правильно использовать шаблон в robots.txt

Один забавный белорусский сайт разместил материал «Неудачный шаблон для запрета служебных адресов», в котором говорится, что попытка "оптимизировать" robots.txt может быть не совсем удачной, если не до конца понимать тонкости работы директив шаблонов (использование звездочки "*"). И далее идет разбор управления роботами с сайта http://home-soft.com.ua/.

Как правильно использовать шаблон в robots.txt

# 12-09-2011 18:28, Компостер

Bitcoins для всех

Бесплатные биткоины здесь!

Реклама

Навигация

Найти в блоге

Реклама

Статистика

Яндекс.Метрика

Все операции с электронными валютами


Мгновенный сервис вывода электронных валют

Бесплатные биткоины здесь!