Главная | Карта сайта vts-servis.com.ua

Яндекс.Поиск - это поисковый робот

Яндекс.Поиск. «Яндекс» — поисковый движок, принадлежащий российской корпорации «Яндекс», основной продукт компании. Отдельными сервисами являются турецкий Яндекс (yandex.com.tr) и поиск по мировому интернету (www.yandex.com), выступающий также в качестве тестовой площадки. Поисковая машина состоит из трёх основных компонентов:

  • Агент - это поисковый робот. Он обходит сеть, скачивает и анализирует документы. В случае обнаружения новой ссылки при анализе сайта, она попадает в список веб-адресов робота. Поисковые роботы бывают следующих типов: пауки (англ. Spider) — загружают сайты подобно браузерам пользователя; «путешествующие» пауки (англ. Crawler) — обнаруживают новые, ещё неизвестные ссылки на основе анализа уже известных документов; индексаторы — занимаются анализом обнаруженных веб-страниц и добавляют данные в индекс. Множество выкачанных документов разбиваются на непересекающиеся части и очищаются от разметки.
  • Индекс - база данных, собранная роботами-индексаторами поисковых машин. По индексу и осуществляется поиск документов.
  • Поисковый механизм

Поисковый запрос от пользователя, после анализа загруженности поисковой системы, отправляется на наименее загруженный сервер. Для обеспечения такой возможности сервера Яндекса объединены в кластеры и даже кластеры кластеров. Затем пользовательский запрос обрабатывается программой под названием «Метапоиск». Метапоиск осуществляет анализ запроса в реальном времени: определяет географическое положение пользователя, проводит лингвистический анализ и т. д. Также, программа определяет, относится ли запрос к категории наиболее популярных или недавно заданных. Выдача на такие запросы некоторое время хранится в памяти (кэше) метапоиска, и в случае совпадения показываются заранее сохранённые результаты. Если запрос является редким и совпадений в кэше не найдено, система перенаправляет его на программу «Базового поиска». Тот анализирует индекс системы, также разбитый по разным дублирующимся серверам (это ускоряет процедуру). Затем полученная информация снова попадает на метапоиск, данные ранжируются и показываются пользователю в готовом виде.