Быстрая CMS
Обратная связь Карта сайта
Главная Создание сайтов Практика Строим CMS Наивное О проекте Блог

Заметки на манжетах

21 июня 2009 г.

Продолжаем разговор о взаимодействии с поисковыми роботами. Как с ними разговаривать?

В разделе «Роботы и как с ними дружить» небольшое пополнение. На сей раз речь пойдет о заголовках HTTP Response, которые сервер отдает перед отправкой страницы. Но для начала рассмотрены заголовки запросов, которые отправляют три самых интересных для нас робота.

Как известно, «оптимизированных» заголовков, которые могли бы прямо повлиять на позиции сайта, не существует. Но кроме прямого есть еще и косвенное влияние. Правильная выдача заголовков может повлиять на индексирование сайта, а это немаловажно. Особенно сейчас, когда Яндекс перестал церемониться с низкокачественными сайтами и начал их выбрасывать из индекса. А сайт, который не индексируется, уж точно не займет хороших позиций в выдаче.

А еще сегодня... простите, уже вчера... автор в очередной раз просматривал сырые логи сервера. Отличное развлечение, всем настоятельно рекомендую. Во-первых, есть возможность найти свои ошибки и недочеты. Во-вторых, посмотреть, какие новые боты понабежали – они появляются то и дело, некоторых не мешает отправлять в бан. В третьих, просто можно заметить что-то интересное, что ни одна система статистики не покажет. Ни встроенная в сайт, ни рейтинговая, вроде LiveInternet или SpyLog.

И наконец, можно просто посмеяться от души. Меня, к примеру, рассмешили горе-хакеры, пытавшиеся скормить движку фальшивые параметры и добраться до системных файлов хостинга. Движок, на котором работает сайт, расписан в деталях, исходники приведены. Но «настоящие хакеры мануалов не читают».

Так что анекдот вчерашнего дня – вырванный из лога запрос:


GET ///main.php?id=../../../../../../../../etc/passwd HTTP/1.0

Для тех, кто не понял: не ищет этот движок в параметрах имена файлов, которые нужно прочитать. И не принимает параметров, содержащих что-то, кроме символов латинского алфавита и цифр. И вообще не принимает никаких параметров, когда работает в режиме псевдостатики – на вопросительный знак в URL'е вы получите только один ответ: «404 Not Found».

 

 

Заметки
на манжетах

11 ноября 2011 г.
Кто-то исследует недостатки сайта. Выражаю глубокую благодарность скромному анониму.

6 ноября 2011 г.
Сайт снова пошел в рост, а новости застыли на месте больше года назад. Пора опубликовать какую-нибудь новость

19 июня 2010 г.
Пара банальностей и немного о новых алгоритмах. Или Caffeine и число страниц в индексе Google.

15 июня 2010 г.
Вот уж никогда не подумал бы... но маленький эксперимент зашел дальше, чем можно было предположить.

12 апреля 2010 г.
Не очень новая новость от Google – появился еще один фактор, влияющий на ранжирование.

11 января 2010 г.
Вернемся ненадолго в старый год – благо, по старому стилю Новый еще не наступил. Хорошая лазейка для опоздавших.

4 декабря 2009 г.
Еще раз о надоевшем. То есть, о коде статуса несуществующей страницы.

4 декабря 2009 г.
Ох уж эта форма... Не ожидал, что ей будут так интересоваться. Даю инструкцию по применению.

11 ноября 2009 г.
Что-то радует, а что-то не очень.

22 сентября 2009 г.
Здравствуй, Яндекс-бот, давно не виделись. Снова о заголовках... и о грустном.