Что писать в robots.txt для сайта на WordPress

Автор: Валерия Морозова | Опубликовано: 18.10.2026

Если вы настраиваете robots.txt для WordPress, главная задача не в том, чтобы «закрыть всё лишнее», а в том, чтобы не мешать поисковым роботам обходить нужные страницы и не создавать ложные запреты. На практике хороший robots.txt для WordPress обычно короткий: он закрывает только служебные разделы, а не пытается управлять всей индексацией сайта.

Для большинства сайтов достаточно безопасного базового файла. Его можно взять как отправную точку и затем подстроить под структуру конкретного проекта.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

Здесь example.com нужно заменить на ваш домен, а адрес карты сайта — на реальный URL, если она у вас есть. Если сайт использует стандартную карту сайта WordPress, обычно это /wp-sitemap.xml. Если карту генерирует SEO-плагин, адрес может быть другим.

Что обычно стоит закрыть в robots.txt

В WordPress есть несколько служебных путей, которые не нужны в поиске. Их и имеет смысл ограничивать в robots.txt. Но важно понимать: robots.txt не удаляет страницу из индекса, а только запрещает роботу заходить по этому адресу. Если страница уже попала в поиск, одного robots.txt часто недостаточно.

Для типового сайта обычно закрывают:

/wp-admin/ — административную часть сайта;
/wp-login.php — страницу входа, если вы хотите ограничить её обход роботами;
служебные файлы и каталоги, которые не должны индексироваться и не несут пользы пользователю;
временные или технические разделы, если они действительно существуют на сайте и доступны по URL.

При этом /wp-admin/ закрывают почти всегда, но с исключением для admin-ajax.php. Этот файл нужен многим темам и плагинам для работы на фронтенде, поэтому его обычно не блокируют.

Что не стоит закрывать без причины

Самая частая ошибка — копировать чужой robots.txt и без разбора закрывать то, что кажется «дублем» или «мусором». В WordPress это особенно опасно, потому что многие URL выглядят техническими, но реально участвуют в работе сайта.

Не стоит массово закрывать в robots.txt:

категории, теги и архивы авторов, если они у вас дают полезные страницы и трафик;
страницы пагинации, если они нужны для обхода каталога или блога;
страницы поиска по сайту, если вы не уверены, что они мешают;
URL с параметрами, если они используются плагинами, фильтрами или корзиной в интернет-магазине.

Если страница должна быть исключена из поиска, но при этом робот должен иметь возможность её обойти, чаще нужен не robots.txt, а noindex или канонический URL. Это разные механизмы. robots.txt запрещает обход, noindex просит не показывать страницу в поиске, а canonical указывает на основную версию страницы. Подменять одно другим не стоит.

Готовый безопасный вариант robots.txt для WordPress

Если у вас обычный сайт на WordPress без нестандартной структуры, можно начать с такого файла:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

Этот вариант безопасен для большинства проектов. Он не пытается закрыть лишнее и не мешает поисковикам видеть публичные страницы сайта. Если у вас карта сайта генерируется не WordPress, а SEO-плагином, замените строку Sitemap на актуальный адрес.

Иногда в сети советуют добавлять больше запретов, например закрывать /wp-includes/, /wp-content/plugins/ или /wp-content/themes/. Делать это без понимания последствий не нужно. Поисковику не обязательно индексировать эти каталоги как отдельные страницы, но блокировка ресурсов может мешать корректной обработке сайта, особенно если тема или плагин подгружает стили, скрипты или изображения из нестандартных мест.

Когда robots.txt нужно дорабатывать под конкретный сайт

Базовый файл подходит не всем. Доработка нужна, если у сайта есть реальные служебные разделы, которые не должны обходиться поисковиком, или если структура создаёт много бесполезных URL.

Чаще всего это бывает в таких сценариях:

Информационный сайт или блог. Можно оставить только базовый запрет для админки и карту сайта. Остальное лучше решать через настройки индексации конкретных типов страниц.
Корпоративный сайт. Иногда есть внутренние разделы, тестовые страницы, служебные формы или каталоги, которые не должны попадать в поиск. Их закрывают точечно.
Интернет-магазин. Здесь часто появляются фильтры, сортировки, параметры в URL и служебные страницы корзины. Но закрывать всё подряд нельзя: часть страниц нужна для навигации и обхода каталога.
Многоавторский проект. Иногда имеет смысл отдельно проверить архивы авторов, если они пустые или дублируют основной контент.

Если вы не уверены, нужен ли запрет, сначала проверьте, есть ли этот URL в индексе, приносит ли он трафик и нужен ли он пользователю. Закрывать страницу только потому, что она выглядит «технической», — плохая практика.

Как проверить, что robots.txt не мешает индексации

После правки не ограничивайтесь тем, что файл открылся в браузере. Нужно убедиться, что вы не закрыли важные разделы и что поисковик видит карту сайта.

Проверьте три вещи:

Откройте https://ваш-домен/robots.txt и убедитесь, что файл доступен без ошибок.
Проверьте, что в нём нет случайных запретов на публичные разделы сайта.
Убедитесь, что строка Sitemap указывает на реальную карту сайта.

Если вы используете Google Search Console или Яндекс Вебмастер, там можно проверить, как робот видит robots.txt и не блокируются ли нужные страницы. Это особенно полезно после переноса сайта, смены SEO-плагина или ручного редактирования файла.

Ещё один практический тест: откройте несколько важных страниц сайта в режиме инкогнито и убедитесь, что они доступны, а не отдают ошибку доступа. Если страница открывается в браузере, это ещё не значит, что она не закрыта для робота, но грубые ошибки в robots.txt так обычно быстро проявляются.

Как редактировать robots.txt в WordPress без лишнего риска

В WordPress robots.txt можно изменить несколькими способами. Самый безопасный вариант — через SEO-плагин или через файловый менеджер хостинга, если вы понимаете, где именно лежит файл. У WordPress есть и виртуальный robots.txt, если физического файла нет, но на практике удобнее иметь явный файл в корне сайта.

Если вы редактируете файл вручную, сначала сделайте копию текущего содержимого. Ошибка в robots.txt не ломает сайт визуально, но может незаметно повлиять на обход страниц поисковиками. Если вы меняете файл на рабочем проекте, лучше делать это в спокойное время и потом проверить результат в инструментах для вебмастеров.

Если на сайте уже есть SEO-плагин, проверьте, не управляет ли он robots.txt сам. Иногда в админке можно задать правила без ручного редактирования файла. Это удобнее, чем держать настройки в нескольких местах и потом искать, почему файл не совпадает с ожиданиями.

Чего не должен делать robots.txt

У robots.txt есть пределы. Он не заменяет другие инструменты и не решает все SEO-задачи.

Он не удаляет страницы из индекса мгновенно.
Он не ставит редирект.
Он не делает страницу «невидимой» для всех поисковиков навсегда.
Он не исправляет дубли, если у сайта есть несколько доступных версий одного и того же контента.

Если задача в том, чтобы убрать страницу из поиска, обычно смотрят в сторону noindex, редиректа или канонического URL. Если задача в том, чтобы скрыть административную часть сайта, robots.txt подходит. Если задача в том, чтобы убрать дубли контента, нужно разбираться со структурой URL, пагинацией, параметрами и настройками темы или плагинов.

Для сайтов на WordPress, где много служебных URL и дублей, удобнее решать такие вопросы комплексно. В этом случае может помочь Clearfy Pro: он закрывает часть типовых технических задач WordPress, связанных с SEO и служебными страницами, и позволяет не собирать всё вручную по разным настройкам. Подробности есть на странице плагина: https://wpshop.ru/plugins/clearfy.

Если нужен короткий практический вывод, то для большинства WordPress-сайтов robots.txt должен быть минимальным: закрыть админку, не трогать публичные страницы без причины и обязательно указать карту сайта. Всё остальное добавляйте только тогда, когда понимаете, какой именно URL вы закрываете и зачем это нужно именно вашему сайту.