Googlebot игнорирует crawl-delay

Давно не секрет, что поисковик Google довольно своеобразно обрабатывает правила исключения robots.txt. И уж точно он игнорирует указание выполнять тайм-аут между загрузкой страниц.

Googlebot игнорирует crawl-delay


В этом легко убедиться, посетив центр для веб-мастеров.

Воспользовавшись инструментом для проверки файла robots.txt легко выловить все ошибки и учесть все предупреждения. Стоит помнить и о том, что в правилах исключения Googlebot ищет ссылку на карту сайта — наиболее важный дескриптор сайта.

#Googlebot
# 04-02-2016 08:32, Компостер

Как настроить UEFI майнинг-фермы?

Как настроить UEFI майнинговой фермы?

Реклама

Навигация

Найти в блоге

Реклама

Статистика

Яндекс.Метрика

Все операции с электронными валютами


Мгновенный сервис вывода электронных валют

Бесплатные биткоины здесь!