Любой сайт рентабелен лишь в том случае, когда сделана поисковая оптимизация, он индексируется поисковыми системами и находится в ТОП-10. Эффективность этого процесса зависит от качества настроек и правильного составления системных файлов.
В особенности, качества индексации касается файл robots.txt – системный элемент, предназначенный для поисковых роботов и расположенный в корневом каталоге сайта.
Начинающих вебмастеров интересует вопрос — можно ли скачать robots.txt или составлять его следует самостоятельно? Для ответа на этот вопрос, необходимо подробнее рассмотреть структуру самого файла.
Он представляет собой текстовый документ, содержащий определенные команды для поисковых роботов. Среди них присутствуют две основные директивы User-agent и Disallow.
User-agent указывает, какому именно поисковому роботу адресована команда — GoogleBot, YandexBot и т. д.
Disallow и Allow обеспечивают запрет или разрешение на индексирование страницы соответственно. Запрет на индексацию необходим для системных файлов, конфиденциальной информации и дублей страниц, а также неиспользуемых элементов сайта.
Прежде чем создать или скачать robots.txt следует составить список страниц, не предназначенных для публичного пользования, чтобы впоследствии указать их в соответствующих директивах.
Дополнительные команды не менее важны, например, директива Host, используемая для указания основного зеркала ресурса.
Команда Sitemap указывает поисковым роботам путь к другому важному системному файлу — карте сайта.
Регулировать периодичность и частоту загрузки страниц поисковым роботом можно при помощи команд Crawl-delay и Request-rate. Это требуется в тех случаях, когда необходима сбалансированная нагрузка на сервер.
При помощи директивы Visit-time можно указать предпочтительное время для индексации по Гринвичу.
Файл для роботов представляет собой важнейший структурный элемент, неправильная настройка которого может привести к крайне нежелательным последствиям. Если соответствующих навыков составления подобных документов нет, лучше взять файл из нашего примера.
При помощи любого текстового редактора создайте простой текстовый файл и сохраните его в корневом каталоге под соответствующим именем robots.txt
Пример файла robots.txt
User-agent: Yandex Disallow: /admin Sitemap: http://site.ru/sitemap.xml Host: https://site.ru User-agent: * Disallow: /admin Sitemap: http://site.ru/sitemap.xml
Если вовремя не уделить внимание правильному созданию файла для поисковых роботов, можно столкнуться с самыми разными проблемами. Например, обилие дублей страниц в индексации, которые не были скрыты при помощи Robots.txt, может привести к тому, что сайт попадет под действие фильтра поисковых систем из-за низкой уникальности контента.
