Правильный файл robots. txt

Файл robots. txt строится индивидуально для каждой площадки, этим файлом веб-мастер указывает поисковым роботом какие страницы индексировать, а какие нет. Нужно сделать запрет на все страницы кроме главной страницы сайта, отдельных страниц и страниц с постами (записями) своего сайта.

Данный текст является ознакомительным фрагментом.