Время от времени возникает необходимость удалить какую-то страницу или несколько страниц сайта из выдачи поисковых систем. Делается это по двум основным причинам. Причина №1 – данная страница является дублем другого HTML-документа. Причина №2 – на странице размещена неуникальная, либо неактуальная информация (при ее индексации могут возникнуть проблемы с ранжированием всего сайта).
Если вы не хотите физически удалять страницу с сервера и запрещать к ней доступ обычных пользователей, то воспользуйтесь одним из приемов, описанных ниже (во всех этих случаях страница будет удалена лишь из индекса поисковых систем).
1. Использование мета-тега
Часто для точечного удаления отдельной страницы применяют следующую конструкцию - meta name="robots" content="noindex,nofollow". Она размещается внутри элемента head. Значение noindex, указанное во втором атрибуте content, говорит роботу поисковой системы, что текущую страницу не стоит индексировать. Значение nofollow говорит о том, что не стоит переходить ни по одной ссылке с текущей страницы. Можно ограничиться лишь первым значением, оставив все ссылки для индексации. Основной недостаток данного способа – невозможность его использования при динамическом формировании страниц (как в CMS).
2. Использование robots.txt
Данный файл размещается в корне сайта и предназначен для задания основных параметров индексации ресурса поисковыми системами. Дабы закрыть от индексации множество страниц, находящихся в конкретном каталоге, можно воспользоваться следующей конструкцией - Disallow: /catalog/ (прописывается в robots.txt с новой строки).
Чтобы закрыть один-единственный документ, прописываем следующее - Disallow: /catatalog/page.html. Из недостатков использования robots.txt можно отметить лишь то, что, по заверениям поисковых систем, содержимое данного файла будет учитываться далеко не всегда (хотя на практике все прописанные здесь директивы работают почти 100-процентно).
3. Использование панели вебмастера
У каждой крупной поисковой системы есть сервис, позволяющий вебмастеру в удобном режиме менять настройки и параметры своих сайтов. Удалить страницу своего сайта из индекса в Яндекс.Вебмастере можно, пройдя по следующему адресу - http://webmaster.yandex.ru/delurl.xml. В единственном поле формы здесь следует указать только URL-адрес (с приставкой https, если нужно, или без нее).
В Google данная процедура выполняется здесь - https://www.google.com/webmasters/tools/. Помните, что удаление страницы в панели вебмастера должно осуществляться уже после использования мета-тегов или robots.txt, иначе от этого не будет толку.
4. Использование редиректа или страницы с ошибкой
Можно настроить свой сайт так, чтобы при открытии нежелательной страницы происходил мгновенный автоматический редирект на другую страницу. Кроме того, можно просто выдавать ошибку 404. Рано или поздно поисковики обнаружат редирект / ошибку и исключат страницу из индекса. Однако в этом случае на нее не смогут попасть обычные пользователи.
