Заметки на манжетах
21 июня 2009 г.
Продолжаем разговор о взаимодействии с поисковыми роботами. Как с ними разговаривать?
В разделе «Роботы и как с ними дружить» небольшое пополнение. На сей раз речь пойдет о заголовках HTTP Response, которые сервер отдает перед отправкой страницы. Но для начала рассмотрены заголовки запросов, которые отправляют три самых интересных для нас робота.
Как известно, «оптимизированных» заголовков, которые могли бы прямо повлиять на позиции сайта, не существует. Но кроме прямого есть еще и косвенное влияние. Правильная выдача заголовков может повлиять на индексирование сайта, а это немаловажно. Особенно сейчас, когда Яндекс перестал церемониться с низкокачественными сайтами и начал их выбрасывать из индекса. А сайт, который не индексируется, уж точно не займет хороших позиций в выдаче.
А еще сегодня... простите, уже вчера... автор в очередной раз просматривал сырые логи сервера. Отличное развлечение, всем настоятельно рекомендую. Во-первых, есть возможность найти свои ошибки и недочеты. Во-вторых, посмотреть, какие новые боты понабежали – они появляются то и дело, некоторых не мешает отправлять в бан. В третьих, просто можно заметить что-то интересное, что ни одна система статистики не покажет. Ни встроенная в сайт, ни рейтинговая, вроде LiveInternet или SpyLog.
И наконец, можно просто посмеяться от души. Меня, к примеру, рассмешили горе-хакеры, пытавшиеся скормить движку фальшивые параметры и добраться до системных файлов хостинга. Движок, на котором работает сайт, расписан в деталях, исходники приведены. Но «настоящие хакеры мануалов не читают».
Так что анекдот вчерашнего дня – вырванный из лога запрос:
GET ///main.php?id=../../../../../../../../etc/passwd HTTP/1.0
Для тех, кто не понял: не ищет этот движок в параметрах имена файлов, которые нужно прочитать. И не принимает параметров, содержащих что-то, кроме символов латинского алфавита и цифр. И вообще не принимает никаких параметров, когда работает в режиме псевдостатики – на вопросительный знак в URL'е вы получите только один ответ: «404 Not Found».