Как экстренно запретить индексацию страниц, если нельзя менять meta robots (на любом движке!) | topinup.pro - 2018

Как экстренно запретить индексацию страниц, если нельзя менять meta robots (на любом движке!)

Как экстренно запретить индексацию страниц, если нельзя менять meta robots (на любом движке!)

Получаю много вопросов к посту об алгоритме Google Fred . Главным образом — о том, как технически реализовать закрытия недостаточно качественных страниц.

Небольшая ремарка

Вообще-то самый правильный вопрос — не «как закрыть», а «как понять, какие страницы достойны, а какие нет». [19659004] Я уже начинаю привыкать к тому, что из любого моего исследования пытаются сделать простую инструкцию на все случаи жизни ( еще пример ).

Нагрянул Фред? Ну, закроем от Гугла страницы, которые не дают трафика, как Трудов пишет и всего-то делов.

На всякий случай ответственно заявляю: я такого никому не советовал. Наоборот, всегда нужно подходить к проблеме аккуратно, чтобы ее лечением не наделать еще больших неприятностей. О правильной тактике борьбы с Fred-м тоже как-нибудь напишу. Но сегодня у нас уже почти П & # 39; пятница, поэтому разберем вопрос проще.

Чем вообще можно закрыть страницу от индексации поисковыми системами?

Традиционно используются или robots.txt, или мета-тег noindex. За подробной матчастью отправляю справке поисковых систем:

https://yandex.ru/support/webmaster/recommendations/indexing.xml

https://support.google.com / webmasters / topic / 4598466

нас же интересует один часто игнорируемый аспект. Как минимум для Google мета-тег и директива в robots.txt неравнозначны. Robots.txt — это всего лишь рекомендация, обязательно & # 39; язкова к исполнению.

Недостатки robots.txt

Вот цитата из официального руководства:

Изменяя файл robots.txt, не забывайте о д & # 39; связанных с этим методом риски. Иногда для запрета индексирования определенных URL лучше применять другие методы.
(…)
Googlebot напрямую не индексировать содержание, указанное в файле robots.txt, однако сможет найти эти страницы по ссылкам с других сайтов. Таким образом, URL, а также другие общедоступные сведения, например текст ссылок на сайт, могут с & # 39; явиться в результатах поиска Google. Чтобы полностью исключить появление URL в результатах поиска Google, используйте другие способы: парольная защита файлов на сервере или метатеги с директивами по индексированию.

Robots.txt плохой еще и тем, что в нем нельзя указать правило, аналогичное «noindex, follow" (не добавлять в поисковую базу документ, но переходить по ссылкам), что, например, неплохим универсальным решением для страниц пагинацию .

Читайте также:   Какие факторы работают для продвижения по высокочастотным конкурентным запросам?

Meta robots — тоже не идеал

Вообще-то meta name robots — отличное решение. Недостаток только один. Иногда, на проектах с кривым двигателем или ленивым программистом, добиться установки мета-тега на жалкой сотни документов не так-то просто. Что делать, если запрет нужно поставить вот прямо сейчас (а лучше — вчера)?

Тема X-Robots-Tag — альтернатива перелопачивании кода страниц

Есть еще один способ передать поисковым системам информацию, аналогичную той, что содержится в цель теги robots. Это заголовок сервера X-Robots-Tag. С ним вообще забавная история. Почему-то считается, что умение работать с X-Robots-Tag — страшные мистические знания, доступные только супер-сеошников. В то же время, описание заголовка спокойно лежит все в той же справке Google.

Читайте также:   Что нужно знать об алгоритме Google Fred. Как он изменился до осени 2017?

Да и вообще, ничего сложного в X-Robots-Tag нет. Единственное затруднение — в силу малой популярности, для управления им практически нет готовых инструментов. И зря. Ведь X-Robots-Tag о & # 39; объединяет достоинства robots.txt и мета-тега. Он универсальный, гибкий и управлять им можно без привлечения программиста (соблюдая, конечно же, осторожность).

Вчера я немного покопался в документации .htaccess и соорудил сервис, который позволяет генерировать правила по установке X-Robots-Tag сразу для множества страниц.

Инструмент доступен по адресу: https://bez-bubna.com/free/htaccess.php (бесплатно, без регистрации).

На вход подается список url:

После нажатия кнопочки получаем это:

Нам остается скопировать первую часть в конец .htaccess, ыбрать один из вариантов второй части (или написать свой) и вставить в тот же файл. Затем обязанности & # 39; обязательно проверяем, все ли в порядке работает, не поломался или сайт от конфликта директив и установился или заголовок на нужные страницы. Массово это можно сделать с помощью Screaming Frog (раздел Directives).

Читайте также:   Трафик с Google c минимальными затратами - презентация из доклада на SEMPRO 2017

Ну а проверить конкретный url можно любым детектором заголовков сервера, хоть вебмастеров Яндекса.

в чем минусы?

Если запихнуть в .htaccess очень много страниц, это (теоретически) может сказаться на скорости работы сервера. Я протестировал сайт на 3500 url в .htacess и не заметил снижения скорости.

Первый запуск:

Второй (с набухшим .htacсess):

Разницы практически нет. Некоторые показатели во втором случае даже немного лучше (думаю, это погрешность измерений). То есть как минимум до 3500 можно не опасаться проблем со скоростью.

Также непонятна ситуация с поддержкой X-Robots-Tag Яндексом. В справке заголовок не упомянут. Есть сравнительно свежий официальный комментарий в клубе Яндекса :

Якобы должен работать, но при попытке удалить url, который я 5 минут назад проверил ответа сервера в веб-мастеров, получаю :

изучит этот вопрос дополнительно.

в любом случае, для Google способ должен работать. Кстати, есть мнение, что запрет с помощью X-Robots-Tag еще и помогает экономить краулинговий бюджет (ведь работу не надо загружать страницу, чтобы добраться до мета-информации). Удачного использования!

Опубликовано topinup / Февраль 14, 2018
Рубрики: SEO
1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (Пока оценок нет)
Загрузка...


Заказ сайта на WordPress

Заполните форму, и наши специалисты свяжутся с вами в ближайшее время для создания сайта на выбранной теме WordPress.

Будьте в курсе последних новостей.

Подписывайтесь на наши страницы в соцсетях и на канал в Telegram.

Заказ бесплатной консультации

Ваше имя (обязательно)

Ваш телефон (обязательно)

Ваш e-mail (обязательно)