Интернет журнал - InterneR.Ru » Как устроена поисковая система?

Как устроена поисковая система?

spider bot

Поисковые роботы

Компьютерные роботы это простые программы, которые автоматизируют повторяющиеся задания со скоростью, превышающей человеческие возможности. Термин "bot", сокращение от "robot", в интернете обычно используется для описания чего-либо, что программно "общается" с пользователем или собирает данные.

Поисковые системы используют «пауков», которые ищут информацию в сети. Это программные комплексы, которые просматривают страницы в сети, как обычные пользователи. В дополнение к чтению содержания страниц для индексирования, пауки также записывают ссылки, для дальнейшего сканнирования.

Поисковые системы состоят из 3 основных частей. Поисковые пауки следуют ссылкам по сети, чтобы запрашивать страницы, которые еще не индексированы, или не были обновлены после последнего индексирования. Эти страницы листаются и добавляются в индекс поисковой машины. Если вы ищете что-либо, используя поисковую систему, вы на самом деле ищите не в сети, а в немного устаревшем индексе, который предоставляет собой информацию, скачанную из сети роботами поисковой системы.

Третья часть поискового устройства это поисковой интерфейс и программный комплекс, отвечающий за определение релевантности поискового запроса пользователя к содержимому индекса поисковой системы. Обычно, на каждый запрос пользователя поисковая система выполняет все или большинство следующих действий:

  • Получают введенный пользователем запрос, проверяя подходящий продвинутый синтаксис, и проверяют запрос на наличие ошибок, чтобы порекомендовать более популярные или правильные варианты написания.
  • Проверяют, соответствует ли запрос другим вертикальным поисковым базам данных (как например, поиск новостей или продукции) и показывают соответствующие ссылки на предметы запроса около обычных результатов поиска.
  • Собирают список соответствующих страниц для согласованных результатов поиска. Эти результаты выстраиваются в соответствии релевантности содержания страницы запросу пользователя, использованию данных и ссылкам данных цитирования.
  • Запрашивают список релевантных рекламных объявлений для размещения около результатов поиска.

Типы поисковых запросов

Андрей Бродер, автор "Таксономии сетевого поиска" отмечает, что большинство видов поиска можно разделить на 3 категории:

  • Информационный – поиск статичной информации на тему
  • Транзакционный - пользователь хочет что-то купить, скачать, или иным образом взаимодействовать с результатами поиска
  • Навигационный – направьте меня на нужную мне страницу в сети

Хотите научиться лучше искать информацию? Большинство новейших поисковиков предлагают:

  • Продвинутые страницы поиска, которые помогают корректировать запросы на новейшие или устаревшие, локальные или глобальные поиски, искать на конкретном домене, искать файлы определенных пользователем форматов.
  • Вертикальные базы данных поиска, которые могут помочь сформировать информационный индекс или ограничить индекс поиска до более надежной или лучшей коллекции источников, документов и информации.

Сайт Нэнси Блэчмен Google Guide, предлагает пользователям бесплатные советы по поиску в Google, а на сайте Грега Р.Ноттеса Search Engine Showdown можно ознакомиться со списком свойств и операторов языка запросов основных поисковых систем.

Так же, существует множество небольших, но популярных вертикальных поисковых сервисов. Например, популярный сервис социальных закладок Del.icio.us позволяет вам искать по тем страницам, которые были добавлены пользователями этого сервиса, а например Technorati позволяет осуществлять поиск по многочисленным блогам и дневникам.

На самом деле, современные поисковые системы стараются предоставлять своим пользователям весь спектр услуг и сервисов, связанных с поиском любой информации, которая может быть размещена в электронном виде. На сегодняшний день, вы можете искать в интернете практически все. Начиная от простой текстовой информации и новостей, и заканчивая видео и аудио файлами, электронными таблицами и даже снимками со спутников.

Прогресс не стоит на месте, и конкуренция между крупнейшими поисковыми порталами в борьбе за свою аудиторию, заставляет их разрабатывать и внедрять все новые и новые сервисы и услуги, делающие поиск не только быстрым и удобным для пользователя, но и делающие поиск действительно увлекательным и интересным занятием.

В следующей статье речь пойдет о первых поисковых машинах, которые появились в сети интернет.


  • CRM система и каналы связи общего назначения
  • Поисковая раскрутка
  • Cервисы личных интернет закладок - что это?
  • Поисковая оптимизация туристических сайтов
  • И опять про тИЦ, который падает… :)
  • Комментариев: 9

    • 1. OgAnd написал 21 октября 2007, 11:39 :

      Для начала неплохо, для пионэров. Для остальных надо более конкретно.

    • 2. Venyaminich написал 3 июля 2009, 13:44 :

      Все равно знать об этом надо.

    • 3. Vanyata написал 5 июля 2009, 15:21 :

      А я впервые узнал об этом и мне показалось это очень интересным.

    • 4. Venyulya написал 7 июля 2009, 10:30 :

      Cовременные поисковые системы стараются предоставлять своим пользователям весь спектр услуг и сервисов, связанных с поиском любой информации, которая может быть размещена в электронном виде - я к тому что, пользователю все проще и проще найти то, что его интересует.

    • 5. Ksenya написал 8 июля 2009, 21:25 :

      Ориентир на неподготовленного пользователя, именно неподготовленный пользователь есть приоритет крупных поисковиков.

    • 6. Emelyanich написал 14 июля 2009, 00:49 :

      Прикольно. В закладках. Как раз думал с этим попробовать что-то!

    • 7. YUnya написал 10 сентября 2009, 22:36 :

      Надо попробовать.

    • 8. alextk77 написал 30 сентября 2009, 17:33 :

      Да как устроена система у Яндекса, думаю даже его админы не понимают.

    • 9. Antya написал 16 ноября 2009, 00:16 :

      Жалко, что вся информация по поисковым запросам на английском языке.

    Ваше мнение:

    XHTML: Разрешенные теги: <a href="" title=""> <abbr title=""> <acronym title=""> <blockquote cite=""> <code> <em> <strong>