Как закрыть сайт от индексации и не потерять нужные страницы

Если сайт нужно временно скрыть от поисковиков — например, во время редизайна, на тестовом домене или до запуска — важно не перепутать способы закрытия. Одни механизмы запрещают обход, другие убирают страницу из индекса, третьи прячут сайт от людей, но не от роботов. Если выбрать не тот вариант, можно случайно закрыть полезные страницы, потерять трафик или, наоборот, оставить в поиске тестовую версию.

На практике задача почти всегда сводится к двум вопросам: что именно нужно скрыть и на какой срок. Для всего сайта, который ещё не готов, обычно подходят настройки видимости WordPress или защита паролем. Для отдельных страниц — мета-тег noindex и аккуратная работа с каноническими ссылками. robots.txt — это не универсальная замена, а инструмент для управления обходом, и использовать его нужно осторожно.

Сначала определите, что именно должно исчезнуть из поиска

Перед любыми настройками полезно разделить страницы на три группы:

• весь сайт целиком — тестовая копия, staging, временно закрытый проект;
• отдельные разделы — архивы, фильтры, внутренние страницы, служебные URL;
• конкретные страницы — черновики, страницы акции, временные лендинги, дубли.

Это важно, потому что один и тот же способ не подходит для всех случаев. Если закрыть сайт через robots.txt, поисковик может не увидеть запрет на индексацию внутри страницы, но уже известный URL всё равно останется в выдаче без описания. Если поставить noindex, страница может ещё какое-то время быть в индексе, пока поисковик не переобойдёт её. Если закрыть сайт паролем, поисковый робот вообще не получит контент, но это уже влияет и на обычных посетителей.

Для WordPress отдельно проверьте, не являются ли «лишние» страницы на самом деле полезными. Например, архивы рубрик, теги, пагинация и страницы автора не всегда нужно закрывать. Для информационного сайта они могут собирать трафик и помогать структуре. Закрывать их стоит только если у вас есть понятная причина: тонкие дубли, мусорные архивы, технические страницы или слабая структура, которую вы осознанно упрощаете.

Когда подходит настройка видимости WordPress

Если сайт ещё не готов к публичному запуску, самый простой вариант — встроенная настройка WordPress «Попросить поисковые системы не индексировать сайт». Она находится в админке в разделе Настройки → Чтение. После включения WordPress добавляет указание для поисковых систем не индексировать сайт.

Этот способ удобен для временного скрытия сайта, но у него есть ограничения:

• он зависит от того, как поисковик обрабатывает такие сигналы;
• он не защищает сайт от прямого доступа по ссылке;
• если на сайте уже есть внешние ссылки или он был в индексе раньше, удаление может занять время.

Поэтому эту настройку стоит использовать для чернового или тестового сайта, который ещё не должен быть доступен публике. Для уже работающего проекта, который вы временно скрываете на время редизайна, одного этого пункта обычно недостаточно.

После включения обязательно проверьте, что на сайте не остались другие сигналы для индексации: открытые страницы в robots.txt, старые мета-теги index, кэшированные версии страниц и доступные XML-карты сайта. Если сайт уже был в поиске, лучше дополнить настройку более жёстким способом — например, паролем или noindex на уровне страниц.

Чем отличаются robots.txt, noindex и пароль

Эти три механизма решают разные задачи, и путать их не стоит. Ниже — коротко и по делу.

Способ	Что делает	Когда использовать	Ограничение
robots.txt	Ограничивает обход страниц роботами	Для служебных разделов, которые не нужно сканировать	Не гарантирует удаление уже известной страницы из индекса
noindex	Просит поисковик не включать страницу в индекс	Для отдельных страниц, архивов, дублей	Страница должна быть доступна для обхода, иначе сигнал может не сработать
Пароль / авторизация	Закрывает доступ людям и роботам	Для тестовой версии, staging, закрытого проекта	Не подходит, если сайт должен быть доступен части пользователей без входа

robots.txt полезен, когда вы хотите не тратить краулинговый бюджет на служебные URL и не показывать поисковикам технические разделы. Но если задача — убрать страницу из выдачи, нужен именно noindex или удаление через редирект/снятие страницы с публикации.

noindex — правильный вариант для отдельных страниц, которые должны быть доступны пользователю, но не должны попадать в поиск. Это часто касается страниц фильтров, результатов внутреннего поиска, некоторых архивов, страниц пагинации в специфических структурах и дублей с параметрами.

Пароль — самый надёжный способ временно спрятать сайт целиком. Поисковик не сможет нормально просканировать контент, а пользователи увидят форму входа. Для тестовой копии это обычно лучший вариант, если хостинг позволяет поставить HTTP-авторизацию или если вы используете плагин для ограничения доступа.

Как закрыть сайт целиком без риска оставить его в поиске

Если речь о временно скрытом сайте, лучше использовать не один, а два уровня защиты: ограничить доступ и дать поисковику понятный сигнал.

Практически это выглядит так:

1. включаете режим закрытого доступа — пароль, HTTP-auth или плагин ограничения доступа;
2. проверяете, что главная и внутренние страницы не открываются без авторизации;
3. при необходимости добавляете noindex на уровне сайта или отдельных шаблонов;
4. убираете сайт из публичной карты сайта, если она генерируется автоматически;
5. проверяете, что тестовый домен не указан в Search Console как основной.

Для WordPress на обычном хостинге самый простой путь — поставить сайт за пароль через хостинг-панель или использовать плагин, который ограничивает доступ к фронтенду. Это особенно полезно для staging-версий, где нельзя светить контент до релиза. Если же сайт уже был в индексе, после закрытия стоит проверить, не остались ли в выдаче старые URL. Для этого иногда требуется отдельное удаление через инструменты поисковой системы, но это уже следующий шаг, а не замена закрытию.

Если вы используете Clearfy Pro, часть таких задач можно закрыть из одного места: убрать лишние технические элементы, настроить SEO-сигналы и не трогать вручную то, что лучше контролировать централизованно. Для проектов на WordPress это удобнее, чем собирать несколько разрозненных плагинов: Clearfy Pro.

Как закрыть только нужные страницы и не задеть полезные

Самая частая ошибка — закрывать от индексации всё подряд. Это особенно опасно на информационных сайтах и в интернет-магазинах, где архивы, категории и карточки товаров могут приносить трафик. Если закрыть их без анализа, сайт потеряет не только «мусорные» страницы, но и те, которые реально работают.

Для отдельных URL обычно используют noindex. В WordPress это можно сделать несколькими способами:

• через SEO-плагин на уровне конкретной записи, страницы, рубрики или тега;
• через шаблон темы или фильтры, если нужна точечная логика;
• через специализированный инструмент, если нужно управлять большим количеством технических страниц.

Если страница уже не нужна совсем, лучше не просто закрывать её от индексации, а удалить и настроить редирект на ближайший релевантный адрес. Тогда поисковик и пользователь попадут на полезную страницу, а не в тупик. Это особенно важно для старых акций, удалённых товаров, переименованных разделов и устаревших посадочных страниц.

Если же страница нужна пользователю, но не должна участвовать в поиске, noindex — правильный выбор. При этом не стоит одновременно закрывать её в robots.txt, если вы рассчитываете на удаление из индекса: поисковик должен иметь возможность увидеть директиву noindex при обходе страницы.

Что проверить после настройки

После закрытия сайта или отдельных страниц не полагайтесь на один визуальный признак. Проверьте результат в нескольких местах:

• откройте страницу в браузере без авторизации и убедитесь, что доступ действительно ограничен;
• посмотрите исходный код страницы и найдите мета-тег robots, если вы использовали noindex;
• проверьте robots.txt, если вы меняли правила обхода;
• посмотрите, не осталась ли страница в XML-карте сайта;
• проверьте статус URL в панели поисковой системы, если сайт уже был в индексе.

Если страница всё ещё отображается в поиске, это не всегда означает ошибку. Поисковик может хранить старую копию какое-то время, особенно если URL уже был известен. В такой ситуации важно не добавлять новые противоречивые сигналы. Например, не стоит одновременно закрывать URL в robots.txt и ждать, что он быстро исчезнет из индекса, если страница уже была проиндексирована. Для удаления обычно нужен либо доступный для обхода noindex, либо редирект, либо инструмент удаления в панели поисковой системы.

Типичные ошибки, из-за которых сайт закрывают не так

Есть несколько сценариев, которые я вижу чаще всего на WordPress-сайтах:

• Закрыли robots.txt вместо noindex — страница перестала обходиться, но не исчезла из выдачи так, как ожидалось.
• Поставили пароль, но забыли про кэш — публичная копия страницы ещё доступна через кэш или CDN.
• Закрыли весь сайт, хотя нужно было только несколько разделов — потеряли полезные страницы и внутреннюю перелинковку.
• Оставили тестовый домен открытым — поисковик начал индексировать черновую версию вместо боевого сайта.
• Сняли страницу с публикации без редиректа — получили 404 там, где можно было сохранить трафик.

Если задача временная, выбирайте самый простой и обратимый способ. Если сайт уже в поиске и вы хотите именно убрать URL, ориентируйтесь на noindex или редирект, а не на запрет в robots.txt. Если нужен полный запрет на доступ — ставьте пароль или ограничение на уровне сервера. Такой порядок обычно избавляет от лишних сюрпризов и не ломает нужные страницы.