Что такое robots.txt, как настроить и загрузить на сайт

Что такое robots.txt

Файл robots.txt (Robots exclusion standard) – это специальный общепринятый текстовый файл, который находится в корневой директории вашего сайта. Главное его задача заключается в том, чтобы предоставлять информацию о ваших страницах поисковым системам (GoogleBot, YandexBot и другие).

Обратите внимание, что файл robots.txt должен обязательно находиться в корневой директории сайта! То есть он должен быть доступен по адресу: https://ваш_домен/robots.txt . Иначе ПС попросту не смогут его найти. Не забывайте этот важный момент.

История появления robots.txt

Файл robots.txt возник как неформальное соглашение между владельцами сайтов и поисковыми системами. В начале появления и развития ПС не было стандартизированного способа указать ботам какие страницы нужно индексировать, а какие нет.

В 1994 году был предложен стандарт robots.txt как простой текстовый файл, который содержит инструкции для роботов. Несмотря на то, что выполнение этих инструкция является добровольным (вредоносные боты могут их игнорировать), robots.txt быстро стал повсеместно распространенным. Он позволяет владельцам сайтов контролировать индексацию страниц и избегать сканирование конфиденциальной информации.

По сей день этот файл является важной частью SEO оптимизации и полезным инструментом. А если вы хотите подробнее погрузить в тему самостоятельного SEO-продвижения сайтов, то рекомендуем статью от наших специалистов.

Для чего и как работает

Файл robots.txt используется для контроля индексирования страниц. Он выполняет следующие функции:

1. Указывает поисковым системам какие страницы, разделы или файлы не следует индексировать и отображать в поисковой выдаче;
2. Позволяет запретить сканирование больших файлов (видео, архивов) или разделов сайта с динамически генерирующимся контентом;
3. Позволяет указать местоположение файла sitemap.xml;
4. Предоставляет возможность задавать различные правила для разных ботов;
5. Помогает оптимизировать «бюджет сканирования», то есть кол-во страниц, которые поисковый робот сканирует за определенный период времени.

Наглядный пример того, как используется robots.txt:

Как запрещать/разрешать сканирование

Давайте теперь разберем сам синтаксис файла, чтобы вы могли правильно разрешать или запрещать сканирование определенных страниц. Основные элементы robots.txt:

1. User-agent: определяет к какому поисковому роботу применяется правило. Синтаксис: User-agent: [имя_бота]. User-agent: Googlebot (для бота Гугл);
2. Disallow: Указывает URL-адрес или шаблон URL-адресов, которые запрещено сканировать. Синтаксис: Disallow: [путь_к_странице_или_каталогу]. Пример: Disallow: /private/ (Запрет сканирования каталога private и всего содержимого), Disallow: /admin.html (Запрет сканирования страницы), Disallow: /images/*.jpg (Запрет сканирования всех изображений формата jpg в папке images).
3. Allow: Указывает URL которые можно сканировать, даже если они находятся под disallow.
4. Комментарии: Строки начинающиеся с символа #. Игнорируются ПС. Например: # Это просто комментарий
5. Sitemap: Указывает адрес Sitemap.xml, который содержит список всех важных страниц.

Для проверки robots.txt вы можете пользоваться специальными инструментами. Например: Google Search Console, предоставляет все необходимое для работы.

Что стоит скрывать и обязательно ли наличие

Можно сделать вывод, что robots.txt — мощный инструмент, который позволяет помочь поисковым системам правильно сканировать ваш сайт. Его наличие абсолютно не обязательно. Так же он никак не влияет на защиту конфиденциальности: только «вежливые» боты не будут сканировать закрытые страницы и файлы. В robots.txt советуем скрывать следующее:

1. Дублирующиеся страницы: Если на вашем сайте есть страницы, которые дублируют контент других страниц (страницы с разными параметрами сортировки или фильтрация).
2. Страницы с низким качеством контента: страницы ошибок, пустые или с очень коротким контентом.
3. Административные панели и личный кабинет.
4. Служебные страницы и логи.
5. Страницы, которые находятся в разработке.

Теперь давайте обсудим что стоит наоборот включать в robots.txt:

1. Важный контент, который вы хотите показывать пользователям.
2. Страницы, которые как раз “генерируют” трафик: Если вы знаете какие страницы хорошо видны в поисковой сети, то они обязательно должны быть в файле robots.txt.

Решение о том, использовать robots.txt или нет, и что в нем скрывать, зависит от конкретных потребностей и целей вашего сайта. Тщательно проанализируйте структуру сайта, типы контента и свои цели в SEO, прежде чем принимать решение. Помните, что robots.txt – это инструмент управления, а не безопасности.