Сравнение индексов

Сравнение индексов

Изучая поисковые индексы «Яндекс» и Google с помощью операторов inurl: и site, мы можем найти разницу в количестве проиндексированных страниц по сайту в целом и по каждому кластеру в частности. Это самая простая и эффективная проверка сайта на ошибки, дубликаты, мусор, проблемы индексации, и она позволит нам составить перечень проблем. Например, такой.

? Одна и та же страница расположена по разным URL (дублирование). Причины разнообразны – это и смена системы URL без установки кода ответа 301 (страница перемещена навсегда), и использование кода ответа 302 (страница перемещена временно) вместо 301, просто создание нескольких страниц с одинаковым контентом, неправильное использование тегирования, отсутствие закрывающих инструкций в robots.txt и многое другое.

? В индексе отражены версии страниц для печати.

? Страница выглядит как сообщение об ошибке, но на уровне сервера отдает код ответа 200 (все в порядке).

? Страницы с практически идентичным контентом.

? Страницы с ошибкой базы данных (страница отдает код ответа 200, но весь контент на ней – ошибка базы данных (БД)).

? Дубли, связанные с индексацией страниц с www и без.

? Дубли, связанные с возможностью зайти на сайт по IP.

? Дубли, связанные с Session ID.

? Дубли, связанные с сортировкой элементов в каталогах.

? Дубли, связанные с пагинацией и календарем событий.

? Индексация страниц внутренней поисковой выдачи (тут следует отметить, что «Яндекс» не желает индексировать такие страницы, но грань между страницей внутренней поисковой выдачи и страницей каталога довольно зыбка).

? Страницы с поддоменов – зеркальных, тестовых и т. п.

Веселая история про тестовый поддомен. Забавная история из практики связана с тестовыми поддоменами. Клиент звонит в ужасе и говорит: «Мы попали под фильтр». – «Почему?» – «У нас одна страница в выдаче». Смотрим – правда, одна страница в выдаче. Непонятно, как так получилось. Вчера было несколько тысяч страниц, сегодня одна. Оказалось, программист, перенося сайт с тестового домена на основной, поскольку на тестовом все продумано, перенес и robots.txt со строчкой «disallow/». Все.

Все отмеченные ранее проблемы приводят к тому, что вес размывается, нужные страницы не индексируются и ранжирование осуществляется не по тем страницам, которые нам необходимы, а по тем, которые нашел робот. При создании нами портала все эти проблемы должны быть исключены.

Как выявлять подобные проблемы?

Большая разница между количеством проиндексированных страниц в кластере говорит о том, что какая-то система проиндексировала большое количество дублей (это почти всегда Google) или какая-то система вследствие большого количества ошибок не хочет полноценно индексировать кластер (мы не будем называть ее по имени, но это, конечно, «Яндекс»). Таким образом, разница в индексах является важным поводом для более пристального изучения.