Не Гуглом единым…
20 апреля 1994 года, студент Вашингтонского университета Брайан Пинкертон, запустил свой поисковик WebCrawler. Это был первый бот, который индексировал страницы полностью. Вскоре он стал таким популярным, что в дневное время к нему нельзя было достучаться. В это время AOL купил его и использовал в своей сети. Затем в 1997, Excite выкупил WebCrawler, а AOL начал использовать Excite, для того, чтобы улучшить свой NetFind. WebCrawler стал первым из серии подобных сервисов. В течение одного года вслед за ним открылись Lycos, Infoseek и OpenText.
Первые каталоги сайтов
VLib - Виртуальная Библиотека.
В отличие от коммерческих каталогов, этот каталог заполняется свободной конфедерацией добровольцев, которые стараются наполнить этот каталог ссылками на страницы посвященные специфическим областям, в которых они опытны. И по сей день этот сайт можно смело назвать самым авторитетным специализированным каталогом в Интернет.
Следующим каталогом, достойным нашего внимания является директория EINet Galaxy
Нужны ли мы нам?
В самом, начале, когда сперматозоид моего отца оплодотворил яйцеклетку моей матери, я был нужен как минимум одному человеку и одному понятию. Человек, это кто-то один из моих родителей, а понятие это Природа.
Далее, сразу после зачатия, у меня тоже появился человек, который был нужен мне – это моя мама, ее организм вынашивая мой эмбрион кормил меня и не давал погибнуть.
Потом я родился, и сразу стал нужен еще целой куче людей. И мне, сразу же понадобилась не меньшее количество людей.
Яндекс.Вебмастер – презентация Садовского
На роем.ру появилось несколько фотографий, сделанных на закрытой презентации панели для вебмастера от компании Яндекс - Яндекс.Вебмастер.
Первые поисковые системы
Wandex
В июне 1993 года, Мэтью Грей представил первого сетевого робота - «World Wide Web Wanderer». Сначала он хотел просто измерять рост сети и создал робота для подсчета активных веб-серверов. Затем он модернизировал программу для сбора действующих адресов URL. Его база данных была известна под именем «Wandex».
Система принесла столько же проблем, сколько и решений, потому что она тормозила при открытии тех же страниц по сотни раз на день. Ему не понадобилось много времени, чтобы отладить эту программу, но люди стали задавать себе вопросы о ценности роботов.
Яндекс.Игрушки для веб-мастера
Вернее конечно не игрушки, а Панель Веб-мастера. Что это такое? Это аналог WebMaster Tools от компании Google в редакции компании Яндекс. Комплект инструментов для веб-мастеров, который позволяет легко и бесплатно сделать сайт удобнее для поисковой системы. С их помощью можно увидеть сайт таким, каким его видят роботы ПС, выявить проблемы и поделиться с ПС информацией, чтобы сделать сайт заметнее в результатах поиска. Это что касается гугловского WMT. В начале эта новость проскочила у Маула.
Ну а потом, каким этот инструмент будет в версии компании Яндекс, нам рассказал Константин Каширин, еще до официального объявления этого продукта Яндексом. Казалось бы, на первый взгляд отличное известие для оптимизаторов, но... при ближайшем рассмотрении не все так радужно.
Как устроена поисковая система?
Поисковые роботы
Компьютерные роботы это простые программы, которые автоматизируют повторяющиеся задания со скоростью, превышающей человеческие возможности. Термин "bot", сокращение от "robot", в интернете обычно используется для описания чего-либо, что программно "общается" с пользователем или собирает данные.
Поисковые системы используют «пауков», которые ищут информацию в сети. Это программные комплексы, которые просматривают страницы в сети, как обычные пользователи. В дополнение к чтению содержания страниц для индексирования, пауки также записывают ссылки, для дальнейшего сканнирования.