Zanuda
Главная   Планы   Разное  
Главная »Планы »Посторонние боты

Посторонние боты

Как известно (или, выражаясь точнее, как «все говорят»), SEO нынче – это backlinks, они же «бэки», или попросту ссылки. Другими способами сейчас почти не пользуются, вся оптимизация сведена к тому, чтобы на сайт было как можно больше ссылок. Пока это работает, этим будут пользоваться. Когда это станет работать совсем плохо, этим будут продолжать пользоваться, пока хоть что-то получается. Когда это совсем перестанет работать, многие будут продолжать этим пользоваться, потому что больше они ничего не умеют. Увы.

Но речь не об ущербности методов оптимизаторской братии, об этом как-нибудь в другой раз. Речь о том, что ссылки – по-прежнему самый значимый фактор у поисковиков и одновременно их самое больное место. Он корявый, уязвимый, легко поддающийся фальсификации, но пока Google не придумал нового (а Яндекс с независимым видом не скопировал новинку к себе). Поэтому сегодняшний принцип «оптимизации» прост, как веник – посмотри, сколько и каких ссылок у более удачливого конкурента и сделай себе еще больше. Разумеется, это больное место поисковые системы прикрыли как могли – попросту прекратив показывать кому попало чужие бэклинки. Но тут в игру вступили сервисы...

Сейчас мы наблюдаем мерзкую картину: все, кому не лень, стараются просканировать чуть ли не весь Интернет, собрать со всех сайтов все ссылки и продавать за мелкий прайс всем желающим информацию. И дела нет, учитывают ли поисковые системы ту или иную ссылку. Важно дать раскрутчикам-неумехам возможность жить по-старому и пользоваться своим единственным методом. И подзаработать на этом, естественно. Как известно, «в SEO денег нет» – деньги крутятся в околоSEOшных сервисах.

Что имеем в итоге? – Каждый сайт то и дело атакуют сканирующие боты неизвестного происхождения. Чаще всего они маскируются под браузеры. Выкачивают страницы сайта одну за другой, примерно по странице в секунду. Трафик огромный, толку с него, сами понимаете, ноль... Честное слово, встретить бы «коллегу», ваяющего таких вот ботов – уж постарался бы заставить его собирать выбитые зубы сломанными руками. Но где ж его встретишь... Он ведь, скотина, тоже браузером прикидывается.

Классический тупик: кто виноват – примерно знаем, а вот что делать – неизвестно. Именно из-за этого назрела и перезрела необходимость как-то заткнуть этих ботов и пускай пасутся в другом месте.

Итак, творческое задание самому себе.
Дано:

  • бот отдает в качестве юзер-агента данные произвольного браузера
  • CSS и картинок не запрашивает, но так умеют и браузеры
  • последовательно сканирует по найденным ссылкам все страницы сайта
  • IP-адрес, естественно, может быть какой угодно
  • не все хостинги, к сожалению, дают php как модуль Апача, кое-где и CGI

Требуется:

  • надежно определить бота

А уж что с ним потом делать, я и так знаю...

Наблюдение за ботами
Ссылки и каталоги
Фотогалерея
Облако тегов и линковка
Посторонние боты