Как удалить или изменить файл robots.txt в WordPress

Файл robots.txt играет ключевую роль в управлении индексацией вашего сайта поисковыми системами. В WordPress он может быть создан виртуально или физически, и иногда возникает необходимость изменить или полностью удалить этот файл. В этой статье мы подробно рассмотрим, как работать с robots.txt в WordPress, чтобы эффективно управлять доступом поисковых роботов, повысить безопасность и улучшить SEO.

Что такое файл robots.txt и почему он важен для WordPress

Файл robots.txt — это простой текстовый файл, который находится в корне сайта и содержит инструкции для поисковых роботов о том, какие страницы и разделы сайта можно индексировать, а какие нет. Правильная настройка robots.txt помогает:

• Защитить админ-панель и приватные разделы от индексации.
• Избежать индексации дубликатов страниц и ресурсов, которые не несут ценности.
• Сократить нагрузку на сервер, ограничив доступ к тяжелым разделам.
• Повысить ранжирование за счет правильной индексации важных страниц.

В WordPress файл robots.txt может генерироваться динамически, если физического файла в корне нет — движок подставляет виртуальный файл с базовыми правилами. Однако для более точной настройки часто нужно создавать или изменять физический файл.

Как проверить наличие и содержимое файла robots.txt на сайте WordPress

Для проверки откройте в браузере https://ваш-домен/robots.txt. Если откроется страница с содержимым, значит файл есть (виртуальный или физический). Если 404 — файла нет.

Вы также можете проверить, генерирует ли WordPress виртуальный файл, используя плагины или сторонние сервисы для проверки SEO, например, Google Search Console или онлайн-инструменты проверки robots.txt.

Удаление или изменение файла robots.txt в WordPress

Удаление физического файла robots.txt

Если вы ранее создавали физический файл robots.txt в корневой папке сайта (обычно через FTP или файловый менеджер хостинга), просто удалите его. После удаления WordPress будет использовать виртуальный файл по умолчанию.

Удаление файла может быть полезно, если он содержит неправильные или устаревшие правила, мешающие индексации важных страниц.

Изменение файла robots.txt через FTP или панель хостинга

Для изменения откройте файл robots.txt в текстовом редакторе и внесите необходимые правки. Пример базового файла для WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://clearfy.ru/sitemap.xml

Обратите внимание, что директива Allow для admin-ajax.php нужна для корректной работы AJAX в админке и некоторых плагинов.

После правок сохраните файл и загрузите обратно на сервер.

Изменение виртуального файла robots.txt программно

Если физического файла нет, WordPress формирует виртуальный robots.txt. Чтобы изменить его, можно использовать хук do_robotstxt. Это удобно, если вы хотите добавлять правила без создания файла.

Пример функции для добавления своих правил в robots.txt:

function clearfy_add_custom_robots_txt_rules() {
    echo "Disallow: /private-section/\n";
    echo "Disallow: /tmp/\n";
}
add_action('do_robotstxt', 'clearfy_add_custom_robots_txt_rules');

Добавьте этот код в файл functions.php вашей темы или в отдельный плагин. Он запретит индексацию папок /private-section/ и /tmp/.

Примеры полезных правил для robots.txt в WordPress

Запрет индексации страниц авторов и архивов

Если на сайте нет необходимости индексировать страницы авторов или архивов, их можно закрыть:

User-agent: *
Disallow: /author/
Disallow: /category/*/page/

Это позволяет избежать дублирования контента и повысить SEO.

Запрет индексации плагинов и тем

Чтобы не индексировались папки с плагинами и темами, добавьте:

Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

Это защитит структуру сайта и исключит индексацию лишних файлов.

Разрешение индексации только нужных файлов

Если нужно разрешить индексацию только определённых файлов, используйте директивы Allow:

Disallow: /wp-content/
Allow: /wp-content/uploads/

Так вы запретите индексацию всего wp-content, кроме папки с загрузками.

Плагины для управления robots.txt в WordPress

Если вы предпочитаете удобный интерфейс без правки файлов, можно использовать плагины:

• Clearfy Pro — позволяет управлять robots.txt и другими аспектами безопасности и оптимизации без риска.
• Yoast SEO — популярный SEO-плагин с возможностью редактирования robots.txt прямо из админки.
• All in One SEO Pack — альтернатива с поддержкой управления robots.txt.

Использование плагинов удобно, если вы не хотите редактировать файлы вручную и опасаетесь ошибок.

Как проверить правильность файла robots.txt после изменений

После внесения изменений обязательно проверьте файл на наличие ошибок и корректность правил. Для этого:

• Используйте Google Robots Testing Tool для проверки правил.
• Проверьте доступность важных страниц через Google Search Console в разделе «Покрытие».
• Убедитесь, что запрещённые страницы не попадают в индекс.

Это поможет избежать потери трафика и не допустить блокировку нужных страниц.

Безопасность и SEO: важные моменты при работе с robots.txt

Никогда не используйте Disallow: /, если не хотите полностью закрыть сайт от индексации. Это может привести к потере позиций в поисковиках.

Запрещая доступ к важным скриптам и стилям, помните, что Google может хуже индексировать страницы без доступа к CSS и JS, что повлияет на ранжирование.

Для закрытия конфиденциальных данных лучше использовать методы серверной защиты или плагины безопасности, а не только robots.txt.

Также не забывайте обновлять карту сайта и указывать её в robots.txt для улучшения индексации:

Sitemap: https://clearfy.ru/sitemap.xml