История поисковых систем

Поисковики, в дальнейшем именуемые термином – роботы, или сокращенно – боты, появился от английского наречия. Вот несколько вариантов названия поисковиков : robots, crawlers, web bots, spiders и тому подобное. В начале первой половине 1990-х годов, при развитии Интернета, Веб - роботы были одними из первых источников получения полезной информации Интернет, а так же источником непосредственно трафика для владельцев сайтов. Веб – робот, это программа, которая обходит веб – страницы, рекурсивно запрашивая, извлекая документы и очищая от html – кода. То есть, робот не воспринимает цвет, графику, спецэффекты и java-script (ява-скрипты) соответственно баннеры, контекстную рекламу и вредоносные программы, оставленные недобросовестными совладельцами сайтов. Администраторы веб-сайтов не могли повлиять на поведения поисковых ботов, а могли всего лишь заблокировать полностью свой сайт или сервер. В начале 1994 года был внедрен новый протокол robots.txt, помогающий веб-мастерам управлять поисковиками в пределах сайта давая возможность исключить поиск по разделу, по папке вплоть до определенной странички. По мере развития Интернет, количество поисковых систем увеличивается, при этом часть их отмирает. Только в архиве серверных лог-файлов, можно найти воспоминание о таких поисковиках, как T-Rex, Scooter, и т.д. Каждая поисковая система, живет за счет существующих сайтов, но при этом стараясь избавиться от не нужных, плюс расширить функциональность поиска. Что приводит к прессованию конкурирующих поисковых роботов.