На сайте есть три похожих по назначению механизма: robots.txt управляет обходом, noindex задаёт правило индексации, а sitemap сообщает о страницах. Их часто используют как взаимозаменяемые выключатели. Из-за этого закрытая страница может оставаться известной поиску, а нужная не попадает в обработку.
Если робот не может прочитать страницу, он не сможет увидеть размещённый на ней noindex. Правила нужно проверять вместе.
Что делает robots.txt
Файл размещается в корне сайта и содержит инструкции для поддерживающих его роботов. В нём можно ограничить обход путей и указать карту сайта. Правила относятся к определённым роботам или общей группе, поэтому полезно проверять именно тот пользовательский агент, который интересует вас.
Robots.txt не является защитой закрытых данных. Не помещайте секреты на общедоступный URL в расчёте на Disallow. Для личных кабинетов, резервных копий и внутренних документов нужны контроль доступа и настройки сервера.
Зачем нужен noindex
Noindex сообщает поисковому роботу, что страницу не следует включать в индекс. Он может передаваться в метатеге или HTTP-заголовке. Чтобы правило было обработано, робот должен получить соответствующий ответ страницы.
Если страницу сначала закрыли от обхода, а потом добавили noindex, результат может не совпасть с ожиданием. Сначала выясните, что получает робот. Для уже опубликованного адреса также учитывайте время повторного обхода и средства удаления в поисковой системе, если задача требует отдельной обработки.
Для чего служит sitemap
Карта сайта помогает сообщить о канонических страницах, которые вы хотите сделать доступными поиску. Она не заставляет поисковик включить каждый адрес в выдачу. Робот всё равно оценивает доступность страницы и другие условия.
Не добавляйте в одну карту черновики, перенаправления, ошибки и закрытые адреса вместе с опубликованными страницами. Проверьте, что адреса используют нужный протокол и домен. Дата изменения должна отражать реальное обновление материала, а не меняться при каждом запросе карты.
| Инструмент | Основная задача | Чего не стоит ожидать |
|---|---|---|
| robots.txt | Управление обходом | Защиты приватной информации |
| noindex | Правило исключения из индекса | Обработки без доступа робота к странице |
| sitemap.xml | Список предпочитаемых страниц | Гарантии индексации всех адресов |
| Авторизация | Ограничение доступа | Замены публичной SEO-структуры |
Разберите типичные ситуации
Услуга опубликована, но поиск её не видит. Проверьте серверный ответ, доступность для робота, noindex, канонический адрес и внутренние ссылки. Наличие в sitemap является только одной частью проверки.
Тестовая площадка попала в поиск. Посмотрите, действительно ли она закрыта, как сервер отвечает без авторизации и какие правила получал робот раньше. Не переносите закрывающие настройки с тестовой площадки на боевой сайт механически.
Страница параметра или сортировки мешает основной. Это отдельная задача о дублях. Canonical, внутренняя структура и правила обхода подбираются по назначению страницы. Универсальный Disallow для всех параметров может закрыть полезные адреса.
Проверка, которую стоит повторять после обновлений
- robots.txt открывается по правильному адресу.
- Нужные страницы доступны без авторизации.
- В HTML и заголовках нет случайного noindex.
- Canonical соответствует назначению страницы.
- Sitemap содержит актуальные опубликованные адреса.
- Из каталога и разделов можно перейти по обычным ссылкам.
Запишите полученные ответы и время проверки. Так легче отличить ошибку настройки от ситуации, когда поисковая система ещё не обработала изменения. Если есть доступ к панели вебмастера и журналам сервера, используйте их для подтверждения фактического обхода.
Документация и проверка сведений
Технические сведения сверены с документацией на 7 октября 2026 года. При настройке конкретного сервиса проверьте его текущую версию и действующие инструкции.
Материалы по соседним задачам
Коротко о важном
Disallow удаляет страницу из поиска?
Это правило обхода, а не универсальная команда удаления. Для управления индексацией нужно учитывать доступность страницы и поддерживаемые правила noindex.
Sitemap гарантирует появление статьи в выдаче?
Нет. Он помогает обнаружению адресов, но не гарантирует обход, индексацию или показ страницы.
Можно закрыть админку только через robots.txt?
Нет. Для админки требуется авторизация и защита на стороне приложения и сервера. Robots.txt не ограничивает доступ постороннему пользователю.
Разработка и SEO в QuickLanding. Помогаем разобраться в задаче и выбрать подходящий состав работ.
Об эксперте
