Хотя в SEO-плагинах можно настроить запрет индексации с помощью meta-тэга robots определенных типов страниц, часть страниц и ссылок все равно могут быть проиндексированы, и некоторые из них могут приводить к дублирующимся ссылкам на страницы вашего блога.
Например, при включенном разбиении комментариев на страницы могут оказаться проиндексированными ссылки с добавлением comment-page-N к адресу страницы, на которых основной контент будет продублирован, меняться будут только комментарии. Этого можно избежать, если в вашем в настройках вашего блога указано использовать канонические ссылки для записей. Кроме заблокированных в SEO-плагинах страницах также могут индексироваться, например, результаты поиска.
Если же эти страницы уже проиндексировались, то для удаления из поисковых систем необходимо чтобы эти страницы были заблокированы в файле robots.txt, заблокированы мета-тэгом robots или возвращали ошибку 404 (страница не найдена). Многие советуют запрещать индексирование в файле robots.txt, но мне более удобным решением этой проблемы видится добавление мета-тэга robots со значением «noindex, nofollow» в заголовки страниц, которые должны быть заблокированы для индексации.
Таким образом, например, чтобы закрыть от индексации страницы комментариев в файл functions.php необходимо добавить следующий код:
function robots_comment_pages() {
if (get_query_var('cpage') >= 1 || get_query_var('cpage') < get_comment_pages_count())
echo '<meta name="robots" content="noindex,nofollow" />';
}
add_action('wp_head','robots_comment_pages');После небольшого изменения этой функции этот мета-тэг так же можно добавлять, например, для страниц поиска, вложений медиафайлов и т.п. Возможно примерно то же самое можно сделать с помощью каких-нибудь плагинов, но мне так показалось проще и быстрей.