6 способов удалить страницу из Google или Yandex

У вас могут быть разные причины, чтобы скрыть или удалить страницу из индекса. Важно сделать это грамотно, чтобы не навредить SEO-продвижению вашего сайта. 

Существуют разные методы удаления, ручные и автоматические, но ни один из них не универсален. Давайте разберемся как можно убрать URL-адрес из поиска Google и Yandex в зависимости от обстоятельств. 

Какие страницы нужно удалять из индекса? 

Существует ряд страниц, которые своим индексированием не приносят пользу:

  1. страницы входа в личный кабинет (логин или регистрация);
  2. страницы сортировок (по рейтингу, цене, популярные, новинки, акционные товары);
  3. системные файлы; 
  4. страницы с неактуальным товаром или категорией;
  5. конфиденциальные данные;
  6. страницы с неуникальным или дублированным контентом;
  7. мусорные страницы и версия страниц для печати.
     

Удалять их из индекса стоит, чтобы улучшить позиции сайта в выдаче, защитить данные пользователей и сконцентрировать внимание поисковой системы на более полезных страницах.

А лучше сразу сделать правильную структуру сайта.

Способы удалить страницу из поиска

Вручную удалить страницу из панели для вебмастеров

Это самый быстрый способ удаления страниц из индекса Yandex и Google. Здесь можно удалить страницы на 90 дней, после чего они снова вернутся в SEPR. Чтобы удалить страницы навсегда, они должны быть закрыты от робота методами, о которых мы далее расскажем в этой статье. Как и любой ручной труд, этот способ годится, если вам нужно срочно удалить небольшое количество страниц из поиска.

Как удалить страницу в панели вебмастера

Удалить страницу с сайта и получить ответ сервера 404 (410) 

Самый простой способ убрать страницу из поиска — это удалить физическую страницу с сайта. Этот процесс отличается в зависимости от CMS. Например, в WordPress для этого достаточно выбрать пункт «Удалить в корзину» в редакторе. 

После удаления страница получает 404 ответ сервера, а поисковый робот уберет страницу из индекса после повторного сканирования. 

Код ответа 404 – означает для поисковых роботов временное удаление страницы, поэтому какое-то время она еще будет появляться в выдаче и будет доступной в кэше. Чтобы ускорить процесс удаления, можно присвоить странице ответ сервера 410. 

Перед тем как вы удалите страницу, уберите со всего сайта ссылки, которые ведут на нее, чтобы из них не получились битые ссылки.

Учтите, что удаляя страницу вы удаляете ее вес и другие важные для SEO факторы. Чтобы этого избежать, лучше по возможности использовать 301 редирект на похожую страницу, страницу из родительской категории или на главную страницу сайта. Это также решит проблему битых ссылок.

Закрыть страницу от индексации в файле robots.txt

В файле robots.txt можно прописать директивы — команды для поисковых роботов. Прописывать их нужно с новой строки, затем ставится двоеточие и дается полный адрес файла в каталоге.

Директива disallow закрывает страницы или разделы от просмотра роботами. Для Яндекса это 100% метод удалить страницу из индекса, а для Гугла только рекомендация, которая не работает. Проверить это можно с помощью отчета в Search Console «Проиндексировано, несмотря на блокировку в файле robots.txt».

Чтобы закрыть страницу от индексации во всех поисковых системах, в файле robots.txt вам следует прописать:

User-Agent: *
Disallow: путь страницы

Если вы хотите закрыть страницу, например дубли, в Яндексе, пропишите:

User-Agent: Yandex
Clean-param: sort_field&order

После вы можете убедиться в правильности заполнения robots.txt в сервисах Google и Yandex

Использовать мета-тег robots

Атрибут — дополнительная характеристика тега или метатега.

С помощью атрибута “robots”  в коде страницы, вы закроете страницу от индексации для поисковых роботов всех поисковых систем.

<meta name="robots" content="noindex, nofollow" />

Также это можно сделать для робота определенной  поисковой системы.

<meta name="yandex" content="noindex, nofollow" />
<meta name="googlebot" content="noindex">

Атрибут “nofollow” запретит индексировать все ссылки на странице.

Вы можете установить значение “follow”. В долгосрочной перспективе “noindex, follow”, по словам аналитика Google  Джона Мюллера, равен для поисковых роботов директиве “noindex, nofollow”. Разница лишь в том, что роботы не будут индексировать страницу, но будут индексировать исходящие в ней ссылки.

<meta name="robots" content="noindex,nofollow" />

Использовать заголовки X-Robots-Tag

Метод во многом аналогичный предыдущему. Но в этом случае используются HTTP заголовки, которые отображаются в файле конфигурации на сервере, а не мета-теги. Официальная справка Google рекомендует использовать этот метод, чтобы запретить индексирование файлов формата, отличного от HTML, например документов PDF, видео или изображений.

Пример:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow

Удалить через тег rel=“canonical”

Оптимизаторы любят удалять страницы из индекса тегом canonical. Используйте тег canonical правильно, в соответствии с рекомендациями поисковиков: тег canonical носит рекомендательный характер и должен указывать на дубли страниц.

Заключение

Закрывайте доступ к страницам, которые не приоритеты для продвижения или могут нарушить конфиденциальность пользователей. Это поможет вам и поисковым системам сосредоточиться на продвижении приоритетных страниц. Со временем это повлияет и на позицию сайта в выдаче, количество трафика и другие поведенческие факторы. 

Страница в скором времени выйдет из индекса, если вы:

  • удалили страницы вручную через Яндекс Вебмастер и Google Search Console
  • настроили 301 редирект со страницы 404
  • закрыли страницы через директиву Disallow в Robots.txt;
  • закрыли доступ с помощью тега Robots, Noindex, Canonical
  • закрыли доступ через заголовок X-Robots-Tag.

Проверить результат метода вы можете с помощью оператора site:название сайта или в веб-мастерке.

Добавить комментарий

Ваш адрес email не будет опубликован.