Интернет журнал InterneR IT-ЖУРНАЛ: ИНТЕРНЕТ, ГАДЖЕТЫ, ТЕХНОЛОГИИ

Яндекс проиндексировал более 3 млрд. документов. Как на счет спама?

Не так давно, Яндекс преодолел планку 3 млрд. проиндексированных документов. Это много. Это очень много. Но вот вопрос, а что это за документы? Давайте проведем маленький опыт и постараемся узнать, что вообще индексирует Яндекс?
Вот анекдот, который рассказал Костя Каширин, в обсуждая как раз эту же тему:
Два товарища встретились. Один прямо изнывает:

- Чувак, я такой анекдот тебе сейчас расскажу, оборжешься!
- Ну давай!
- Идет по пустыне верблюд. Идет и срёт. И срёт он, и срёт, и срёт, и срёт.

И тут рассказчик понимает, что он забыл, что дальше. Он начинает тянуть время:

- И срёт верблюд, и срёт. И срё, понимаешь, и срёт!

Другу надоело это дело.

- Слушай, а в чем соль-то?
- А соли нет - одно гавно!

Я конечно не буду утверждать, что индекс Яндекса состоит исключительно из говна, но то, что говна там очень много это факт. Я думаю, что миллионов 500 говна там точно есть, а может и больше. Кстати, давайте определимся, что считать говном, а что нет. На мой взгляд, тут все очень просто. Дорвеи, пустые страницы, страницы ошибок, всевозможные логины и админки – все это говно, которому в индексе не место. И так, давайте посмотрим.

Вот несколько запросов, которые позволяют оценить степень заспамленности пс Яндекс. И это - только вершина айcберга, ибо мне просто лень копаться в этом говне. Я просто прошелся по таблеточкам. Обратите внимание, что запросы исключительно на английском языке.

• cheap phentermine

  http://www.yandex.ru/yandsearch?text=cheap+phentermine

  Результат поиска: страниц — 1 006 667, сайтов — не менее 5 461

• cheap viagra

  http://www.yandex.ru/yandsearch?text=cheap+viagra

  Результат поиска: страниц — 1 569 604, сайтов — не менее 5 769

• order viagra

  http://www.yandex.ru/yandsearch?text=order+viagra&rpt=rad

  Результат поиска: страниц — 1 109 606, сайтов — не менее 5 241

• xanax

  http://www.yandex.ru/yandsearch?text=xanax

  Результат поиска: страниц — 2 240 734, сайтов — не менее 4 764

• pills

  http://www.yandex.ru/yandsearch?text=pills

  Результат поиска: страниц — 2 733 268, сайтов — не менее 7 419

• buy cialis

  http://www.yandex.ru/yandsearch?text=buy+cialis

  Результат поиска: страниц — 1 619 585, сайтов — не менее 5 643

• Hydrocodone

  http://www.yandex.ru/yandsearch?text=Hydrocodone

  Результат поиска: страниц — 843 625, сайтов — не менее 4 175

• online pharmacy

  http://www.yandex.ru/yandsearch?text=online+pharmacy

  Результат поиска: страниц — 1 489 346, сайтов — не менее 7 271

• tramadol

  http://www.yandex.ru/yandsearch?text=tramadol

  Результат поиска: страниц — 1 995 817, сайтов — не менее 5 171

• (title[index of /]) && (Last modified)

  http://www.yandex.ru/yandsearch?text=%28title%5Bindex+of+%2F%5D%29+%26%26+%28Last+modified%29

  Результат поиска: страниц — 2 543 947, сайтов — не менее 8 986

И это я даже не стал брать разнообразный адалт и порнyxy. Сами попробуйте.

Ну дальше можно пройтись по ошибкам, логинам и админкам, но думаю и так ясно, что спама весьма много. Более того, 99% этого спама на английском. В Яндексе. И это в то время, когда тысячи вебмастеров стонут от того, что их БиП сайты то и дело вылетают из индекса, или индексируются крайне слабо.

Собственно это проблема не только и не сколько Яндекса, а скорее всех современных ПС. Спама в любой из них весьма много, и борьба с ним ведется. Так что пожелаем успехов в этом нелегком деле
Странно другое. Примерно год назад я проводил схожее исследование. По крайне мере в Яндексе ничего с тех пор не поменялось. И вот это грустно.

Если прикинуть количество бесполезных и спамных страниц, найденных в результате только этого небольшого исследования, то мы получи цифру около 17-ти млн. документов. Даже если представить, что половина из этих документов одни и те же, то все равно много. И повторюсь, это только цветочки.