История Google
Точкой отсчета начала истории корпорации Google можно считать 1995 год, когда Лари Пэйдж встретил Сергея Брина в Снэнфорде.
К январю 1996 года Лари и Сергей начали совместную работу над поисковиком под названием BackRub, его так назвали из-за уникальной способности анализировать входящие ссылки на сайт. Лари, которому всегда нравилось возиться с механизмами и который приобрел некоторую известность, построив работающий принтер из конструктора Лего, взял на себя задание собрать сервер из обычных PC машин.
Так как они испытывали нужду в деньгах как и любые другие студенты в этом возрасте, они стали обшаривать склады разных факультетов в надежде найти ненужную технику, которая бы им пригодилась. Через год, об их уникальном алгоритме BackRub стало известно практически всем, и они стали очень популярны. Слух о новой технологии так и гулял в стенах колледжа.
BackRub ранжировал документы в зависимости от количества упоминаний их в других документах, так как это было принято и популярно в научных кругах.
Бум вертикального поиска
Говоря простыми словами, вертикальный поиск отличается от традиционного только тем, что поиск осуществляется по индексам в конкретной тематике или области. Например, поиск по картинкам или видео файлам. Или скажем поиск только в определенной тематике документов, или например поиск товаров. Такой вид поиска имеет свои неоспоримые преимущества, но и не лишен некоторых недостатков, связанных именно с ограничением какой-то специализированной областью информации.
Основные поисковики борются за долю рынка в вертикальном поиске независимо от основного поискового продукта. Например, Yahoo и MSN предоставляют услуги, где любой желающий может задать вопрос и получить на него ответ от другого пользователя системы. У Google была подобная услуга с тем отличием, что те, кто отвечают, получают деньги за свою работу.
Google, Yahoo и MSN также сражаются за то, чтобы стать единственными на рынке видео в сети, хотя в этой вертикали уже есть очень популярный стартап YouTube, который занимает сильные позиции. Стоит заметить, в настоящее время этот видеопортал принадлежит компании Google.
Yahoo и Microsoft объединили свои усилия для предоставления услуги поиска по книгам. Проект называется Open Content Alliance. Google же пытается сделать это в одиночку с помощью проекта Google Book.
Не Гуглом единым…
20 апреля 1994 года, студент Вашингтонского университета Брайан Пинкертон, запустил свой поисковик WebCrawler. Это был первый бот, который индексировал страницы полностью. Вскоре он стал таким популярным, что в дневное время к нему нельзя было достучаться. В это время AOL купил его и использовал в своей сети. Затем в 1997, Excite выкупил WebCrawler, а AOL начал использовать Excite, для того, чтобы улучшить свой NetFind. WebCrawler стал первым из серии подобных сервисов. В течение одного года вслед за ним открылись Lycos, Infoseek и OpenText.
Первые каталоги сайтов
VLib - Виртуальная Библиотека.
В отличие от коммерческих каталогов, этот каталог заполняется свободной конфедерацией добровольцев, которые стараются наполнить этот каталог ссылками на страницы посвященные специфическим областям, в которых они опытны. И по сей день этот сайт можно смело назвать самым авторитетным специализированным каталогом в Интернет.
Следующим каталогом, достойным нашего внимания является директория EINet Galaxy
Первые поисковые системы
Wandex
В июне 1993 года, Мэтью Грей представил первого сетевого робота - «World Wide Web Wanderer». Сначала он хотел просто измерять рост сети и создал робота для подсчета активных веб-серверов. Затем он модернизировал программу для сбора действующих адресов URL. Его база данных была известна под именем «Wandex».
Система принесла столько же проблем, сколько и решений, потому что она тормозила при открытии тех же страниц по сотни раз на день. Ему не понадобилось много времени, чтобы отладить эту программу, но люди стали задавать себе вопросы о ценности роботов.
Как устроена поисковая система?
Поисковые роботы
Компьютерные роботы это простые программы, которые автоматизируют повторяющиеся задания со скоростью, превышающей человеческие возможности. Термин "bot", сокращение от "robot", в интернете обычно используется для описания чего-либо, что программно "общается" с пользователем или собирает данные.
Поисковые системы используют «пауков», которые ищут информацию в сети. Это программные комплексы, которые просматривают страницы в сети, как обычные пользователи. В дополнение к чтению содержания страниц для индексирования, пауки также записывают ссылки, для дальнейшего сканнирования.
Тим Бернерс-Ли: отец WWW
Продолжение серии статей посвященных истории возникновения сети интернет и создания поисковых машин. Сегодня речь пойдет об отце основателе Всемирной паутины, Тиме Бернерсе. Именно он является изобретателем HTTP, HTML, URI, и автором множества других разработок в области информационных технологий.