Заметки на манжетах
6 июня 2008 г.
Пара слов о повадках поисковых ботов.
Всегда интересно просматривать серверные логи на старте нового сайта. Ровно неделю назад поисковикам был открыт доступ и отдана ссылка в AddUrl. Все основные боты уже «отметились», Google уже включил в индекс полтора десятка страниц и вчера забежал за графикой. Яндекс пока взял только главную – как обычно. Но бот пробежался по всем страницам не один раз. Rambler тоже просмотрел практически все, но как всегда, не торопится.
Для многих это до сих пор новость, но отдельные боты кроме текстовых документов и рисунков интересуются и таблицами стилей. До сих пор я считал, что CSS-файлы просматривает только Googlebot, поскольку в логах пока что замечал только его обращения.
Но теперь обнаружилась новость и для меня – не он один. Еще и Yahoo.
Вот строка из лога:
67.195.37.185 - - [06/Jun/2008:04:14:08 +0400] "GET /css/style.css HTTP/1.0" 200 886 "http://www.ahp-net.ru/" "Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)"