У вас можуть бути різні причини, щоб приховати або видалити сторінку з індексу. Важливо зробити це грамотно, щоб не нашкодити SEO-просуванню вашого сайту.
Існують різні методи видалення, ручні й автоматичні, але жоден із них не універсальний. Давайте розберемося як можна прибрати URL-адресу з пошуку Google і Yandex залежно від обставин.
- Які сторінки потрібно видаляти з індексу?
- Способи видалити сторінку з пошуку
- Вручну видалити сторінку з панелі для вебмайстрів
- Видалити сторінку з сайту й отримати відповідь сервера 404 (410)
- Закрити сторінку від індексації у файлі robots.txt
- Використовувати мета-тег robots
- Використовувати заголовки X-Robots-Tag
- Видалити через тег rel="canonical"
- Висновок
Які сторінки потрібно видаляти з індексу?
Існує низка сторінок, які своїм індексуванням не приносять користі:
- сторінки входу в особистий кабінет (логін або реєстрація);
- сторінки сортувань (за рейтингом, ціною, популярні, новинки, акційні товари);
- системні файли;
- сторінки з неактуальним товаром або категорією;
- конфіденційні дані;
- сторінки з неунікальним або дубльованим контентом;
- сміттєві сторінки та версія сторінок для друку.
Видаляти їх з індексу варто, щоб поліпшити позиції сайту у видачі, захистити дані користувачів і сконцентрувати увагу пошукової системи на більш корисних сторінках.
А краще відразу зробити правильну структуру сайту.
Способи видалити сторінку з пошуку
Вручну видалити сторінку з панелі для вебмайстрів
Це найшвидший спосіб видалення сторінок з індексу Yandex і Google. Тут можна видалити сторінки на 90 днів, після чого вони знову повернуться в SEPR. Щоб видалити сторінки назавжди, вони мають бути закриті від робота методами, про які ми далі розповімо в цій статті. Як і будь-яка ручна праця, цей спосіб годиться, якщо вам потрібно терміново видалити невелику кількість сторінок із пошуку.
Видалити сторінку з сайту й отримати відповідь сервера 404 (410)
Найпростіший спосіб прибрати сторінку з пошуку - це видалити фізичну сторінку з сайту. Цей процес відрізняється залежно від CMS. Наприклад, у WordPress для цього достатньо вибрати пункт "Видалити в кошик" у редакторі.
Після видалення сторінка отримує 404 відповідь сервера, а пошуковий робот прибере сторінку з індексу після повторного сканування.
Код відповіді 404 - означає для пошукових роботів тимчасове видалення сторінки, тому певний час вона ще з'являтиметься у видачі та буде доступною в кеші. Щоб прискорити процес видалення, можна присвоїти сторінці відповідь сервера 410.
Перед тим як ви видалите сторінку, приберіть з усього сайту посилання, які ведуть на неї, щоб з них не вийшли биті посилання.
Врахуйте, що видаляючи сторінку, ви видаляєте її вагу та інші важливі для SEO фактори. Щоб цього уникнути, краще за можливості використовувати 301 редирект на схожу сторінку, сторінку з батьківської категорії або на головну сторінку сайту. Це також вирішить проблему битих посилань.
Закрити сторінку від індексації у файлі robots.txt
У файлі robots.txt можна прописати директиви - команди для пошукових роботів. Прописувати їх потрібно з нового рядка, потім ставиться двокрапка і дається повна адреса файлу в каталозі.
Директива disallow закриває сторінки або розділи від перегляду роботами. Для Яндекса це 100% метод видалити сторінку з індексу, а для Гугла тільки рекомендація, яка не працює. Перевірити це можна за допомогою звіту в Search Console "Проіндексовано, незважаючи на блокування у файлі robots.txt".
Щоб закрити сторінку від індексації в усіх пошукових системах, у файлі robots.txt вам слід прописати:
User-Agent: *
Disallow: шлях сторінки
Якщо ви хочете закрити сторінку, наприклад дублі, в Яндексі, пропишіть:
User-Agent: Yandex
Clean-param: sort_field&order
Після ви можете переконатися в правильності заповнення robots.txt у сервісах Google і Yandex.
Використовувати мета-тег robots
Атрибут - додаткова характеристика тега або метатега.
За допомогою атрибута "robots" у коді сторінки, ви закриєте сторінку від індексації для пошукових роботів усіх пошукових систем.
<meta name="robots" content="noindex, nofollow" />Також це можна зробити для робота певної пошукової системи.
<meta name="yandex" content="noindex, nofollow" />
<meta name="googlebot" content="noindex">Атрибут "nofollow" заборонить індексувати всі посилання на сторінці.
Ви можете встановити значення "follow". У довгостроковій перспективі "noindex, follow", за словами аналітика Google Джона Мюллера, дорівнює для пошукових роботів директиві "noindex, nofollow". Різниця лише в тому, що роботи не індексуватимуть сторінку, але індексуватимуть вихідні в ній посилання.
<meta name="robots" content="noindex,nofollow" />Використовувати заголовки X-Robots-Tag
Метод багато в чому аналогічний попередньому. Але в цьому випадку використовуються HTTP заголовки, які відображаються у файлі конфігурації на сервері, а не мета-теги. Офіційна довідка Google рекомендує використовувати цей метод, щоб заборонити індексування файлів формату, відмінного від HTML, наприклад документів PDF, відео або зображень.
Приклад:
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollowВидалити через тег rel="canonical"
Оптимізатори люблять видаляти сторінки з індексу тегом canonical. Використовуйте тег canonical правильно, відповідно до рекомендацій пошукових систем: тег canonical має рекомендаційний характер і повинен вказувати на дублі сторінок.
Висновок
Закривайте доступ до сторінок, які не є пріоритетами для просування або можуть порушити конфіденційність користувачів. Це допоможе вам і пошуковим системам зосередитися на просуванні пріоритетних сторінок. Згодом це вплине і на позицію сайту у видачі, кількість трафіку та інші поведінкові фактори.
Сторінка незабаром вийде з індексу, якщо ви:
- видалили сторінки вручну через Яндекс Вебмайстер і Google Search Console
- налаштували 301 редирект зі сторінки 404
- закрили сторінки через директиву Disallow в Robots.txt;
- закрили доступ за допомогою тега Robots, Noindex, Canonical
- закрили доступ через заголовок X-Robots-Tag.
Перевірити результат методу ви можете за допомогою оператора site:назва сайту або у веб-майстрині.
- Сервіс N8N для автоматизації рутинних SEO робіт
- Повний SEO-чекліст для блогу: як писати статті, які приводять трафік
- Як використовувати Instagram для SEO
- Як керувати репутацією в Google: гайд із SERM для бізнесу у 2025 році
- Як заборонити нейромережам навчатися на контенті вашого сайту
Can you be more specific about the content of your article? After reading it, I still have some doubts. Hope you can help me.
Can you be more specific about the content of your article? After reading it, I still have some doubts. Hope you can help me. https://www.binance.info/pt-BR/register?ref=GJY4VW8W
[…] Обо всех способах закрыть страницу от индексации читайте в нашей статье. […]