Первая часть поисковой системы – это «паук», он же crawler, он же поисковый робот. Он занимается тем, что путешествует по Сети, просматривая все страницы, перемещаясь по всем ссылкам, и при этом не останавливается ни на минуту. Путешествует не просто так –каждую просмотренную страницу «паук» заносит в индекс поисковой машины в виде встречающихся на этой странице значащих слов.

Таким образом, набирается это огромнейшая база данных, с помощью которой можно быстро узнать, на какой именно странице в Сети можно встретить то или иное слово. Это и есть индекс поисковой машины. К примеру, объем индекса поисковой системы Google составляет 8 миллиардов страниц (по данным за в ноябрь 2001).

Третья часть, после индекса – это собственно поисковая машина. Занимается она тем, что ищет нужное слово – или слова – в индексе. Ее стоит полагать, что ищет она по всему Интернету. Если б это действительно было так, тому же Google, после того, как вы ввели запрос, пришлось бы загружать и просматривать все 8 миллиардов страниц. Представьте себе, сколько дней ему потребовалось бы, чтобы ответить ваш запрос.

А теперь можно сделать вывод, что раз поисковая машина ищет только в своем индексе, значит, если она чего-то не нашла, это вовсе не значит, что этого нет в Сети. И потом, поисковые системы различаются не только внешним видом, но и, например, индексом и способом его составления. Поэтому если вы не нашли что-то в одной поисковой системе, есть смысл поискать в другой.

Поисковый робот, составляющий индекс, обходит сайты «кругами», посещая их регулярно – таким образом, индекс поисковой системы отражает регулярные изменения, происходящие на сайте. Новые сайты «паук» находит либо сам, либо придя по ссылке с другого сайта. Есть еще третий вариант – вы можете самостоятельно направить его на свой сайт. А наилучшего результата вы достигнете совместив все три способа.

Последняя часть поисковой системы – это ее WWW-сервер. Это ее лицо, это как раз тот интерфейс, который видит пользователь задавая свои вопросы.