Особенности поиска по блогам

Рассмотрим фрагмент файла robots.txt, которым снабжаются все без исключения субдомены «Живого Журнала» — одной из самых популярных блогоплатформ интернета.

User-Agent: *
Disallow: /tag/
Disallow: /calendar
Disallow: /2016/

Нам важно отметить, что несмотря на в общем-то хорошую индексацию, запрещены к посещению ботами некоторые разделы пользовательского Живого Журнала.



Если запрет поиска по тегам еще можно как-то понять (дубликаты поисковых путей умножая сущности, умножают и горести), то календарный поиск и связанный с ним поиск по дате публикации находится вне разумных объяснений. Почему так происходит? Ведь это же обкрадывание самих себя: и пользователей «Живого Журнала», и пользователей поиска по блогам в Google и Яндекс. Оказывается, существует вполне рациональное объяснение указанному парадоксу.

Дело в том, что в один исторический момент «Живой Журнал» особо не распространяясь предоставил Яндексу эксклюзивный канал доступа к индексации своего ресурсу. При этом все прочие поисковые алгоритмы были лишены этого блага: для них вместо заднего крыльца существовали только официально утвержденные методы доступа. Избирательная дружба позволяла Яндексу с невероятной быстротой индексировать и записи, и их комментирование на всю глубину архива вне зависимости от времени создания блого-контента. Так появились одиозные строки в файле robots.txt...

Когда Яндекс охладел к блогам, механизм поиска просто выбросили (в реальности – предоставили доступ к коду одному из приближенных), а монопольный статус отменить не посчитали нужным. Не барское это дело статусами заморачиваться. Лучше на Google в суд подать. За ущемление доступа к мобильному поиску.

22-06-2016

Bitcoins для всех

Бесплатные биткоины здесь!

Реклама

Навигация

Найти в блоге

Реклама

Статистика

Яндекс.Метрика

Все операции с электронными валютами


Мгновенный сервис вывода электронных валют

Бесплатные биткоины здесь!