Zanuda
Главная   Планы   Разное  
Главная »Инфосвалка

Что нового принес Эксперимент?

19 июня 2009 г.

Еще немного о чудачествах Яндекса. Временное закрытие доступа к сайту случайно стало новым экспериментом.

Всего двое суток не было доступа к сайту (пришлось прикрыть, на все запросы сайт откликался заголовком 403 Forbidden). А после возобновления работы начались странности. Причем, начались только у Яндекса. Рамблер «не заметил потери бойца» – не каждый день заходит. Google только выдал сообщение об ошибках в Webmaster Tools (страницы недоступны, статус «доступ запрещен»). А вот у Яндекса быстренько высыпались из индекса страницы.

В очередной апдейт в индексе оказались только три страницы – те, что его бот-индексатор успел высмотреть после снятия блокады. Об остальных двадцати двух было то же сообщение в панели вебмастера, что и у Google, но из индекса они вылетели пулей. Впрочем, не это самое интересное.

Индексатор успел взять три страницы за два дня – 10 и 11 июня.
12 июня – зашел F-бот (собиратель favicon).
13 июня – прибыл только H-бот («зеркальщик»).
14 июня – индексатор запросил главную, через час пришел «зеркальщик».
15 июня – пришел индексатор, запросил самую свежую новость (от 11 июня).
16 июня – держитесь крепче – прибыл YandexSomething/1.0 и начал собирать страницы. :-)

Пока что 17-го повторился визит F-бота за иконкой, в остальном по сайту гуляет только YandexSomething/1.0 – остается думать, что Яндекс «запутался», как ни странно это звучит в отношении программного комплекса. Первым обнаруженным обновлением была новость, да еще и Инфосвалка была в это время озаглавлена «Новости». И в ссылке на страницу слово news. Возможно, именно из-за этого на сайт прибыл бот Яндекс-новостей, хотя туда сайт никто не пристраивал.

Сейчас, пока я это пишу, панель вебмастера Яндекса упорствует во мнении, что на сайте всего три страницы. Дата последнего обращения робота к сайту: 15 июня 2009, 17:23 (это цитата оттуда же, с панели). Но при проверке через check.xml товарищ Яндекс уверяет, что страниц 12, из них 7 проиндексированы вчера-позавчера. Да и по запросу "Что нового принес Эксперимент" вылазят 6 страниц с Инфосвалки. Вылазят в основной выдаче; ни в новостях, ни в блогах их и в помине нет. Значит, они уж точно в индексе.

Вот теперь самое время показать сайт самопальным сервисам «проверки трастовости и СДЛности» – сейчас эти сервисы объявят его качественным высокотрастовым сайтом для людей. Хотя не стану скрывать, сайт адресован прежде всего роботам. Ну, и тем людям, которые до него каким-то чудом доберутся – раз уж он так лихо индексируется, это тоже вполне возможно. Но все равно чудом, ибо ссылками его никто не обставлял.

P.S. Как пишут в журналах, «пока верстался номер»...
Бот Яндекс-новостей опять пришел – продолжает собирать новости с Инфосвалки. Читайте в свежих выпусках, прихлебывая утренний кофе.

P.P.S. Слава роботам!

P.P.P.S.   :-)

Инфосвалка

11 июня 2009 г.
К сожалению, эксперимент пришлось прекратить.

5 мая 2009 г.
Развитие движка продолжается. Добавлена несложная фотогалерея – не для постинга фото юзерами, а персональная

11 марта 2009 г.
Индексация, часть третья. Все пауки в сборе – во всяком случае, те, которых я хотел здесь видеть

3 марта 2009 г.
Индексация, часть вторая. Следующего робота тоже не пришлось ждать слишком долго.

28 февраля 2009 г.
Началась индексация сайта. Угадайте, кто первым пришел? Конечно же, угадали.

20 февраля 2009 г.
Доработана отправка HTTP-заголовков страницы. «Оптимизированными» они не бывают, хотя это как посмотреть...

15 января 2009 г.
Доработка библиотек генерации ссылок наконец состоялась. Теперь все задуманные форматы в наличии.

11 декабря 2008 г.
Простой и безжалостный тест на выносливость дал просто потрясающий результат. Этот движок способен работать везде.

6 декабря 2008 г.
Движок, созданный для одного сайта – вещь малополезная. Его мощь проявится во многообразии.

28 ноября 2008 г.
Следующая ступенька бесконечной лестницы. Раздача файлов – а вдруг пригодится...