HostHub
Термин глоссария

Файл robots.txt

Определение

Определение: файл robots.txt — файл с указаниями для поисковых роботов о допустимом обходе разделов сайта. Не защищает закрытые данные и сам по себе не гарантирует исключение адреса из поиска.

3 мин чтения

Файл robots.txt: как управлять обходом сайта поисковыми роботами

Определение: файл robots.txt — файл с указаниями для поисковых роботов о допустимом обходе разделов сайта. Не защищает закрытые данные и сам по себе не гарантирует исключение адреса из поиска.

Для чего задают правила обхода

Файл robots.txt помогает сообщать роботам, какие адреса разрешено запрашивать, а какие следует пропускать. Это может быть полезно для управления обходом технических разделов и многочисленных вариантов одинаковых страниц.

Например, каталог способен создавать большое количество адресов с параметрами сортировки. Перед ограничением таких вариантов нужно определить, какие из них действительно нужны пользователям и поиску.

Правила регулируют получение содержимого. Решение о включении сведений в поисковый индекс относится к другому этапу.

Где находится документ и как читаются указания

Обычно документ доступен в корне сайта, например по адресу https://example.ru/robots.txt. Размещение в произвольном внутреннем каталоге не заменяет его расположение в корне соответствующего адреса сайта.

Указания объединяют в группы. В строке User-agent задают робота, к которому относятся правила. Disallow обозначает ограничение обхода, а Allow — разрешение для указанного пути.

Для разных поддоменов правила следует проверять отдельно. Настройка основного адреса не должна восприниматься как автоматическое управление всеми сервисами проекта.

Почему запрет обхода не равен удалению из поиска

Поисковая система может узнать об адресе из внешних ссылок, даже если не получает его содержимое. Поэтому ограничение обхода само по себе не гарантирует отсутствия адреса в выдаче.

Для запрета индексирования используют отдельное указание noindex, означающее «не индексировать». Его размещают предусмотренным способом в ответе страницы.

Чтобы робот увидел это указание, страница должна быть доступна для получения. Если одновременно запретить ее обход, система может не обнаружить настройку исключения.

Почему здесь нельзя защищать конфиденциальную информацию

Документ с правилами доступен публично. Он сообщает роботам желательный порядок поведения, но не ограничивает доступ пользователей и программ на уровне сервера.

Для закрытых данных нужны проверка учетной записи, полномочий и другие механизмы контроля доступа. Даже адрес, указанный в запрещенном разделе, может открываться у человека, который его знает.

Поэтому служебные документы, резервные копии и персональные сведения необходимо защищать независимо от поисковых настроек.

Какие ошибки особенно важны

Слишком широкое правило способно закрыть от обхода значимые разделы. После переноса сайта также можно случайно сохранить ограничения, которые использовались на тестовой версии.

Отдельно следует проверить доступ к ресурсам, необходимым для понимания страницы: изображениям, файлам оформления и программам.

Копирование чужого набора указаний без учета структуры сайта рискованно. Одинаковые названия каталогов на разных проектах могут иметь разное назначение.

Как проверять изменения

Сначала нужно определить цель каждого ограничения. Затем проверить несколько конкретных адресов: главную страницу, услугу, публикацию и технический вариант.

После публикации полезно использовать инструменты проверки правил и отчеты поисковых систем. Важно убедиться, что робот получает действующую версию документа.

Правильная настройка начинается с разделения задач: управление обходом, исключение из индекса и защита доступа требуют разных средств. Тогда ограничения помогают обслуживать сайт, сохраняя доступность важных материалов.

Другие термины

Продолжайте разбираться — соседние термины глоссария.

Весь глоссарий

Остались вопросы по терминам?

В базе знаний собраны инструкции, документы и ответы на частые вопросы.

Открыть базу знаний

Обсудить задачу

Расскажите, что нужно сделать, — ответим и предложим решение.

  • Ответим в рабочее время
  • Подскажем подходящую услугу
  • Без обязательств: сначала обсудим задачу

Аналитика сейчас не подключена. Выбор можно изменить в настройках cookie.

Политика использования файлов cookie Согласие на обработку данных для аналитики