Терминология роботов
поисковых систем

Терминология, структура и конструкция роботов изнутри.

Поисковик в дальнейшем именуемый веб-робот, является программой используемой при помощи модуля для платформ UNIX-систем , написанная на языке Си. Она обходит гипертекстовую структуру страниц Интернет, расположенных на Серверах подключенных к Глобальной Сети.

Сама программа не работает на одном сервере, точнее это структура, состоящая из множества программ расположенных на нескольких серверах, при этом многие программы, а также базы данных (хранилища информации) являются дублирующими готовыми в любую секунду взять на себя функциональность для выполнения поставленной задачи. По этому когда, Вы делаете поисковый запрос, она не начинает искать интересующую для Вас информацию по всей глобальной сети.

Первоначальной задачей, для неё является определение куков (оставленных им же), при отсутствие cookie, IP-адрес посетителя. После чего, отправляет на тот или иной сервер, предназначенный для энного количества IP-адресов После чего, другая уже программа начинает искать в базе данных (копии которых находятся на разных серверах) интересующую для вас информацию. При этом ведя статистику запросов, IP-адресов, время и т.д..

– “Почему робот использует куки и что он там хранит? Почему, робот ведет статистику?” – зададите Вы вопрос.

Первое. В Куках храниться зашифрованная информация о пользователе. По времени, а это доли секунд, программе быстрей прочитать файл, чем определять IP-адрес посетителя и делать полный анализ (браузер, операционная система, время прибытия, регион и т.д.).