Как работают поисковые системы?

Как работают поисковые системы?

Раньше я была уверена в том, что при моем запросе, скажем, новости грузоперевозок, поисковые системы, те же Яндекс и Google со скоростью света начинают прочесывать все существующие в мире сайты, все их странички, в надежде отыскать что-то похожее на «грузоперевозки». Как же я заблуждалась!

А знаете, сколько сегодня существует сайтов? По данным аналитической компании Netcraft на октябрь 2011 года: 504 082 040 сайтов — больше полумиллиарда! А если учесть все их странички? Ведь сайты состоят не из одной странички, а из десяток, сотен, и даже тысяч! Цифры до того умопомрачительные, что трудно даже представить! Приведу, однако, численность этих страничек по годам, чтобы вы смогли понять, по какой нарастающей увеличивается их число. Итак,

? 1998 год — 26 миллионов;

? 2000 год — 1 миллиард;

? 2008 год — 100 миллиардов;

? 2010 год — 121 миллиард;

? 2011 год — по некоторым сведениям уже 550 миллиардов!

И как же поисковые системы успевают их все прошерстить, чтобы моментально выдать результаты? Интересно? Тогда читайте дальше.

На самом деле каждая поисковая система имеет свои базы данных, которые постоянно пополняются. Каким образом? Существуют специальные программы — поисковые роботы, в просторечье называемые просто пауками, роботами или краулерами (от англ. crawler — тот, кто ползает, «червяк»), которые только и делают, что ползают по Всемирной паутине, переходя от одного сайта к другому, с одной странички к другой по ссылкам, которые там имеются.

Совет

Если вы сделали, например, замечательный сайт, разместили его в Интернете, то позаботьтесь о том, чтобы на него обязательно вела хотя бы одна ссылка. Иначе о вашем прекрасном сайте никто никогда не узнает. Впрочем, выходом может послужить принудительное добавление адреса сайта в поисковую систему при помощи опции Add Url (Добавить сайт), или, как ее называют веб-мастера, «аддурилки», так что не все так плохо.

Роботы-пауки определенным образом сканируют сайты, считывают с них информацию и тащат ее в свое хранилище — базу данных. Там эта информация в соответствии с разработанными алгоритмами сортируется и распихивается по каталогам, а когда в поисковую систему поступает запрос от посетителя (от нас с вами), положим, по тем же «новостям грузоперевозок», никто никуда уже не бежит, а просто специальные программы поисковика достают информацию из своих тайников и выкладывают на всеобщее обозрение. Поэтому выложенная в результатах поиска информация не такая уж и новая, хотя часто и обновляемая, скажем, раз в неделю.

По моим наблюдениям, забугорная поисковая система Google обновляет информацию намного быстрее нашего российского Яндекса. Во всяком случае, новые страницы моих сайтов появляются в выдаче Google буквально через несколько дней, в Яндексе же это редкость. И может пройти несколько недель, а то и больше, пока Яндекс заметит вообще существование моих свежих страниц, а может и вовсе не заметить, на что я частенько на него обижаюсь.

Чтобы помочь поисковику дать нам именно такую информацию, в которой мы нуждаемся, необходимо дать побольше сведений при запросе, а не ограничиваться одним-двумя словами.