Быстрая CMS
Обратная связь Карта сайта
Главная Создание сайтов Практика Строим CMS Наивное О проекте Блог

Заметки на манжетах

21 июня 2009 г.

Продолжаем разговор о взаимодействии с поисковыми роботами. Как с ними разговаривать?

В разделе «Роботы и как с ними дружить» небольшое пополнение. На сей раз речь пойдет о заголовках HTTP Response, которые сервер отдает перед отправкой страницы. Но для начала рассмотрены заголовки запросов, которые отправляют три самых интересных для нас робота.

Как известно, «оптимизированных» заголовков, которые могли бы прямо повлиять на позиции сайта, не существует. Но кроме прямого есть еще и косвенное влияние. Правильная выдача заголовков может повлиять на индексирование сайта, а это немаловажно. Особенно сейчас, когда Яндекс перестал церемониться с низкокачественными сайтами и начал их выбрасывать из индекса. А сайт, который не индексируется, уж точно не займет хороших позиций в выдаче.

А еще сегодня... простите, уже вчера... автор в очередной раз просматривал сырые логи сервера. Отличное развлечение, всем настоятельно рекомендую. Во-первых, есть возможность найти свои ошибки и недочеты. Во-вторых, посмотреть, какие новые боты понабежали – они появляются то и дело, некоторых не мешает отправлять в бан. В третьих, просто можно заметить что-то интересное, что ни одна система статистики не покажет. Ни встроенная в сайт, ни рейтинговая, вроде LiveInternet или SpyLog.

И наконец, можно просто посмеяться от души. Меня, к примеру, рассмешили горе-хакеры, пытавшиеся скормить движку фальшивые параметры и добраться до системных файлов хостинга. Движок, на котором работает сайт, расписан в деталях, исходники приведены. Но «настоящие хакеры мануалов не читают».

Так что анекдот вчерашнего дня – вырванный из лога запрос:


GET ///main.php?id=../../../../../../../../etc/passwd HTTP/1.0

Для тех, кто не понял: не ищет этот движок в параметрах имена файлов, которые нужно прочитать. И не принимает параметров, содержащих что-то, кроме символов латинского алфавита и цифр. И вообще не принимает никаких параметров, когда работает в режиме псевдостатики – на вопросительный знак в URL'е вы получите только один ответ: «404 Not Found».

 

 

Заметки
на манжетах

9 июня 2009 г.
Только сейчас дошли руки как-то обозначить смену статуса...

8 февраля 2009 г.
Сегодня закончил описание новостной ленты. Тема ленты завершена, но мы к ней еще вернемся...

4 февраля 2009 г.
И наконец, давно обещанное описание ленты новостей

3 февраля 2009 г.
Едва успел описать здесь плагин для отсылки почтовых сообщений, как обнаружил в нем дыру. Исправлено, мин нет.

1 февраля 2009 г.
Жизнь продолжается. А я этого и не заметил...

30 октября 2008 г.
И еще один новый раздел. Он называется «Наивное». Не удивляйтесь, там собраны ответы на ваши вопросы.

17 октября 2008 г.
По вашим письмам. Они уже начали приходить – честно говоря, меня это радует. Начну делиться планами.

15 июля 2008 г.
Продолжаем разговор на тему «Как подружиться с роботами».

6 июня 2008 г.
Пара слов о повадках поисковых ботов.

28 мая 2008 г.
Новость первая, совершенно банальная и никому пока что не интересная