Быстрая CMS
Обратная связь Карта сайта
Главная Создание сайтов Практика Строим CMS Наивное О проекте Блог

Заметки на манжетах

6 июня 2008 г.

Пара слов о повадках поисковых ботов.

Всегда интересно просматривать серверные логи на старте нового сайта. Ровно неделю назад поисковикам был открыт доступ и отдана ссылка в AddUrl. Все основные боты уже «отметились», Google уже включил в индекс полтора десятка страниц и вчера забежал за графикой. Яндекс пока взял только главную – как обычно. Но бот пробежался по всем страницам не один раз. Rambler тоже просмотрел практически все, но как всегда, не торопится.

Для многих это до сих пор новость, но отдельные боты кроме текстовых документов и рисунков интересуются и таблицами стилей. До сих пор я считал, что CSS-файлы просматривает только Googlebot, поскольку в логах пока что замечал только его обращения.

Но теперь обнаружилась новость и для меня – не он один. Еще и Yahoo.
Вот строка из лога:

67.195.37.185 - - [06/Jun/2008:04:14:08 +0400] "GET /css/style.css HTTP/1.0" 200 886 "http://www.ahp-net.ru/" "Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)"

 

 

Заметки
на манжетах

11 ноября 2011 г.
Кто-то исследует недостатки сайта. Выражаю глубокую благодарность скромному анониму.

6 ноября 2011 г.
Сайт снова пошел в рост, а новости застыли на месте больше года назад. Пора опубликовать какую-нибудь новость

19 июня 2010 г.
Пара банальностей и немного о новых алгоритмах. Или Caffeine и число страниц в индексе Google.

15 июня 2010 г.
Вот уж никогда не подумал бы... но маленький эксперимент зашел дальше, чем можно было предположить.

12 апреля 2010 г.
Не очень новая новость от Google – появился еще один фактор, влияющий на ранжирование.

11 января 2010 г.
Вернемся ненадолго в старый год – благо, по старому стилю Новый еще не наступил. Хорошая лазейка для опоздавших.

4 декабря 2009 г.
Еще раз о надоевшем. То есть, о коде статуса несуществующей страницы.

4 декабря 2009 г.
Ох уж эта форма... Не ожидал, что ей будут так интересоваться. Даю инструкцию по применению.

11 ноября 2009 г.
Что-то радует, а что-то не очень.

22 сентября 2009 г.
Здравствуй, Яндекс-бот, давно не виделись. Снова о заголовках... и о грустном.