Как управлять индексированием

Как управлять индексированием

На сегодняшний день разработчик Web-узла располагает скромным арсеналом технических средств, которые позволяют управлять роботами поисковых машин, занятых индексированием. Основных способов всего два: размещение файла со специальным именем robots.txt в корневом каталоге сервера и применение мета-тэгов в секции HEAD отдельного документа. Оба метода рассматривались выше. Еще раз подчеркнем, так как это очень важно, что метатэги, по возможности уникальные, следует применять в каждом документе.

Существует ряд простых правил, которых стоит придерживаться, если вы хотите, чтобы поисковые системы находили ваш ресурс.

На входных страницах сайта обязательно должен быть текст. Если вся информация представлена в виде графических файлов, весьма велика вероятность того, что ни одна поисковая система не найдет сайт. Правда, большинство поисковых машин индексирует текст, содержащийся в тэге ALT и в метатэгах, а также текст комментариев (<!– … ->), но не надо забывать о системах, которые этого не делают.

При этом намеренное злоупотребление ключевыми словами в заголовках, комментариях и тексте самого документа может быть расценено поисковой системой как попытка регистрации ресурса с несоответствующим содержанием. В качестве защитной меры система попросту не станет индексировать ваши страницы.

Кроме того, довольно трудно применить выбранное ключевое слово многократно в самом документе, не превратив его в нечто громоздкое и неуклюжее.

Очень важная часть страницы – заголовок, то есть ее титул, который расположен между тэгами <TITLE> и </TITLE>. Лучше сделать его информативным и внести в него ключевые слова. Возможно, имеет смысл использовать в заголовках, даже для полностью русскоязычных документов, английский язык. Оптимальная длина заголовка – не более 50 символов.

Очевидно, что заголовок следующего содержания, размещенный на странице index.htm, является неинформативным для поиска:

<TITLE>www.inotec.ru</TITLE>

Целесообразнее заменить его, например, таким:

<TITLE>Программы для бухгалтерского и складского учета</TITLE>

Заметим кстати, что текст этого заголовка, гораздо более наглядный, чем предыдущий вариант, будет оставаться и в закладках посетителей.

Многие поисковые системы для индексирования и построения списка ключевых слов используют первые по положению в документе 200–300 слов из текстов страниц Web-узла.

Чем длиннее документ, тем менее заметны в нем слова, заданные в запросе, и, следовательно, тем ниже будет ваша страница в результатах поиска. Поэтому старайтесь разбивать длинные документы на несколько коротких.

Индекс цитирования

Изначально индекс цитирования (CI, Citation Index) – это принятый в научном мире «показатель значимости» трудов какого-либо ученого. Величина индекса определяется количеством ссылок на этот труд (или автора) в работах других ученых.

Популярность сайта в Internet определяется числом ссылок на него. Таким образом, индекс цитирования здесь – это число внешних ссылок в сети Internet, которые ведут на сайт. Так, если 205 страниц с других доменов содержат ссылки на страницы вашего сайта, то ваш индекс цитирования – именно 205. В англоязычных источниках данному термину соответствуют названия Link popularity (Популярность ссылки), PageRank (Ранг страниц) – торговая марка Google.

Применительно к WWW индекс цитирования – это показатель популярности Web-страницы или Web-сайта среди создателей аналогичных «творений», то есть среди «писателей». Этим он принципиально отличается от счетчиков и рейтингов посещений Web-страниц или Web-сайтов, являющихся, по сути, показателями популярности среди «читателей».

Попутно отметим, что одна из проблем рейтингов – положительная обратная связь. Чем выше ресурс в рейтинге, тем больше посетителей обращаются к нему, и, соответственно, тем выше он поднимается в рейтинге.

Идея, оправдывающая применение индекса цитирования, проста: как правило, люди, создающие свой сайт в Internet, со вниманием и ответственностью относятся к его содержанию, а также к содержанию того, на что они ссылаются, и что тем самым рекомендуют своим посетителям.

Индекс цитирования не может быть увеличен ни за счет внутренних (с одних страниц ресурса на другие), ни за счет внешних ссылок, когда один и тот же ресурс имеет их несколько.

Разработчики поисковой машины Яndex ввели показатель индекса цитирования в свой каталог ресурсов (http://yaca.yandex.ru/), что было призвано обеспечить авторитетность расположения ресурсов в рубриках этой поисковой системы.

При определении величины индекса цитирования Яndex учитывает ссылки только с тех ресурсов, которые Яndex проиндексировал и которые содержатся в его поисковой базе, то есть только «русский» Internet. Это означает, что ссылки на русские ресурсы, например, из каталога Yahoo! не могут быть учтены при установке индекса цитирования Яndex.

С другой стороны, этот показатель можно определить для всех ресурсов, на которые кто-либо ссылался с сайтов, просканированных поисковой машиной Яndex, даже если это произошло всего один раз. Поэтому для каталога Yahoo! индекс цитирования Яndex определить можно, несмотря на то, что Yahoo! не проиндексирован в Яndex. Кстати, он для каталога Yahoo! довольно высок (на 23 октября 2004 года – 6300), поскольку Yahoo! весьма популярен в русской части Internet.

В индекс цитирования включаются все ресурсы, ссылки на которые Яndex нашел в русском Internet, при условии, что значение индекса цитирования для них не меньше 10.

Чтобы выяснить число ссылок на сайт из русскоязычного сектора сети, можно воспользоваться также средствами, предоставляемыми ресурсом, расположенным по адресу http://www.registratura.ru/service/. Форма, имеющаяся на странице по указанному адресу, представлена на рис. 1.6.

Рис. 1.6. Форма для определения индекса цитирования

В поле URL введите адрес ресурса. Отметьте системы, которые будут использованы для подсчета: Яndex, Апорт, Rambler, AltaVista или рейтинг Rambler Top 100.

Список в поле Ссылки предназначен для настройки поиска следующим образом. Пункт Чужие используется для поиска ресурсов, ссылающихся на данный (возможно только в поисковой машине Яndex). Свои – для собственных страниц, ссылающихся на данный ресурс, Все – для поиска как собственных, так и чужих страниц.

Индексы цитирования каждого ресурса в разных поисковых системах отличаются друг от друга, поскольку эти системы имеют неодинаковые базы данных. Величина Link popularity легко проверяется, например, с помощью сервиса Link Popularity Checker, расположенного по адресу http://www.webmaster-toolkit.com/link-popularity-checker.shtml. Его страница показана на рис. 1.7.

С помощью данного сервиса вы быстро узнаете Link popularity вашего сайта в пяти основных поисковых системах – Google, AltaVista, MSN, All the Web и Yahoo.

В поле Your URL (Ваш URL-адрес) введите адрес проверяемого сайта и щелкните по кнопке Check Popularity (Проверить популярность). Результаты проверки будут представлены в таблице, изображенной на рис. 1.8. Здесь величина Link popularity указана в колонке Number of Links (Количество ссылок).

В чем смысл увеличения числа ссылок на ваш сайт в Internet, то есть увеличения показателя Link popularity?

Во-первых, чем больше ссылок на ваши страницы, тем больше посетителей вы можете ожидать на своем сайте. Переходы по ссылкам так же популярны, как и использование поисковых систем. Удачно расположенные ссылки на ваш сайт могут быть хорошими «генераторами» притока пользователей.

Во-вторых, чем выше величина Link popularity, тем выше ранг ваших страниц в основных поисковых машинах, что, конечно же, обеспечит вам дополнительную клиентуру.

В-третьих, чем больше ссылок на сайт, тем больше открывается входов на ваш ресурс для роботов поисковых систем. Поэтому ваши страницы чаще включаются в очередь на индексацию.

Таким образом, можно рекомендовать следующую стратегию увеличения Link popularity:

• количество ссылок на ваш сайт должно постоянно расти;

• поскольку некоторые поисковые системы при определении рейтинга положительно оценивают ссылки с популярных сайтов, следует обеспечить их наличие;

• необходимо чаще использовать ключевые слова, которым при определении ранга сайта поисковые системы отдают предпочтение.

Возникает вопрос: чему соответствует величина Link popularity – числу ссылок на домен или на определенную страницу в домене? Есть основания утверждать, что скорее на первое, чем на второе, – хотя поисковые системы, кажется, делают исключение из этого правила для доменов, обеспечивающих так называемый бесплатный хостинг, то есть размещение сайтов в рекламных целях в бесчисленных подкаталогах своего сервера. Например, домен www.geocities.com имеет чрезвычайно высокую величину Link popularity. Однако наличие сайта в каталоге www.geocities.com/mywebsite/  не поможет извлечь из этого выгоду. Иначе вы видели бы в результатах поиска гораздо больше сайтов, расположенных на подобных серверах. Ведь известно, что в некоторых поисковых машинах при прочих равных условиях многие бесплатные сайты или сайты, совместно использующие одно доменное имя, ранжированы ниже ресурсов с уникальным доменным именем. Видимо, поисковые системы имеют список доменов, согласно которому следует либо полностью исключать Link popularity, либо игнорировать этот показатель для любого адреса, который включает подкаталог. Поэтому собственное доменное имя может дать определенные преимущества при поиске.

Контроль наличия документов в индексе поисковых машин

Регулярно проверять наличие документов в индексе поисковых машин необходимо хотя бы потому, что временами из них исчезают отдельные страницы. Обычно поисковые системы позволяют узнать, какие документы на данный момент находятся в индексе и сколько их. Вот как это делается.

Поисковая система AltaVista

Для проверки статуса URL следует набрать в строке запроса следующую строку:

host: www.inotec.ru

В окно браузера будут выданы все проиндексированные страницы сайта. Таким образом, мы узнаем, есть ли в индексе AltaVista файлы указанного домена.

Поисковая система Go.com

В поисковой машине Go.com для проверки статуса URL используется следующая команда:

site: abcnews.com

Здесь указывается доменное имя сайта или часть имени.

Поисковая система HotBot

В поисковой машине HotBot статус URL проверяется по-другому. С помощью ссылки Advanced Search (Расширенный поиск) перейдите на соответствующую страницу. В ваш браузер загрузится форма, фрагмент которой показан на рис. 1.9. В поле запроса введите адрес (например, www.inotec.ru) и, кроме того, наберите его же в поле Include (Включая) раздела Domain/Site (Домен/Сайт).

Строки, аналогичные приведенным выше для других поисковых машин, также воспринимаются системой нормально: site: www.inotec.ru

А вот если в форме расширенного поиска в разделе Domain/Site поле Include оставить незаполненным, а в поле Exclude (Исключая) указать то же имя, что и в строке поиска, то в результате получим величину Link popularity со ссылками на сайты, указывающими на наш сайт.

Поисковая система Lycos

В поисковой машине Lycos статус URL проверяется со страницы расширенного поиска (http://search.lycos.com/adv.asp), на которую можно перейти по ссылке Advanced Search (Расширенный поиск).

В строке запроса введите адрес (например, www.inotec.ru) и, кроме того, наберите его же в поле Only Include (Только включая) раздела URL/SITE (URL-адрес/Сайт). Если в форме расширенного поиска поле Only Include оставить незаполненным, а в поле Exclude (Исключая) указать то же имя, что и в строке поиска, то в результате получим величину Link popularity со ссылками на сайты, указывающими на наш сайт.

Строки, аналогичные приведенным выше для других поисковых машин, также работают в Lycos:

site: www.inotec.ru

Поисковая система Google

В поисковой машине Google статус URL проверяется, как и в Lycos, со страницы расширенного поиска.

В поле Домен введите адрес ресурса (например, www.inotec.ru), а из раскрывающегося списка выберите Только. В строке запроса укажите тот же ресурс. Подобный поиск можно осуществить и с основной страницы системы. Для этого следует набрать запрос следующего вида:

site: www.inotec.ru

Для поиска ссылающихся сайтов в форме расширенного поиска выберите из раскрывающегося списка вместо слова Только слово Не.

Поисковая система Яndex

В поисковой машине Яndex статус URL можно проверить двумя способами:

1. В поле запроса наберите строку вида #url="www.inotec.ru";

2. Воспользуйтесь формой на странице Расширенный поиск и в разделе Страницы введите требуемый адрес в поле Находятся на сайте.

Для поиска ссылающихся сайтов в форме расширенного поиска в разделе Страницы введите требуемый адрес в поле Содержат ссылку.

Поисковая система Апорт

Для проверки статуса URL в поисковой машине Апорт представлен специальный запрос следующего вида:

url=www.inotec.ru/*

Поисковая система Rambler

Чтобы проверить статус URL в поисковой машине Rambler, в обычном поле запроса наберите строку типа $URL:www.inotec.ru.

Поисковая система Поиск@Mail.ru

В поисковой машине Поиск@MaiLRu статус URL можно проверить со страницы расширенного поиска. Для этого укажите в поле раздела Принадлежность к доменам то же доменное имя, что и в разделе Найти результаты. При этом в раскрывающемся списке первого раздела выберите значение Показать.

Данный текст является ознакомительным фрагментом.