Эксперимент: как sitemap.xml важный для индексации нового сайта в Яндексе и Google | topinup.pro - 2018

Эксперимент: как sitemap.xml важный для индексации нового сайта в Яндексе и Google

Эксперимент: как sitemap.xml важный для индексации нового сайта в Яндексе и Google

Уже писал о правильном использовании sitemap.xml . В статье по ссылке — систематизация хорошо известных фактов плюс достаточно очевидны приемы использования в SEO-аналитике. Чисто из практического опыта и общих соображений я давно пришел к выводу, что роль sitemap часто преувеличивают. Впрочем, «вывод» это громко сказано. Что-то утверждать без контролируемых экспериментов и исследований — не есть путь настоящего джедая.

Методика

Мне было интересно, насколько интенсивно поисковые работы используют sitemap, как много мероприятий работа на страницы сайта дает именно карта. Обычно разделить эффект от нее и от других мер по максимизации индекса невозможно, ведь все это обычно выполняется в комплексе.

Схема эксперимента:

  1. Создаем новый сайт с большим количеством страниц (мало url брать нельзя — нужна адекватная выборка и статистическая достоверность).
  2. Делаем полноценный sitemap.xml, содержащий все реальные страницы.
  3. Добавляем в него группу url, которые отдают 404 ошибку. Добраться до этих адресов по внутренним или внешним ссылкам робот не может (их не существует). Запад возможен только через карту.
  4. Считаем количество визитов YandexBot и Googlebot на эти страницы.
  5. На всякий случай проверяем себя, сравнивая данные из логов статистике в панелях вебмастеров (именно поэтому и нужна 404 ошибка, а не просто url, на которые не стоят ссылки: Гугл не показывает, какие страницы обошел ).

Идея проверки очень простая, но требует детального мониторинга активности ботов с помощью access.log. Да и вообще, получалось как-то слишком жирно для не столь принципиальному вопросу.

Однако пару месяцев назад я как раз взялся за проект, где наблюдение за работами требовалась непосредственно для продвижения и для реализации другого эксперимента, который описал в докладе на SEMPRO .

Сайт содержит около 180 000 страниц. В 4 sitemap файла я подсыпал в случайном порядке 112 несуществующих url (то есть. При переходе отдавался 404 код). Индексный sitemap добавил в панели Яндекса и Google а также указал в robots.txt.

Показатели активности ботов

Через два месяца:

  • робот Яндекса посетил 106 экспериментальных страниц .
  • робот Google не посетили ни одного такого url .

При этом в индексе Google до момента снятия данных уже 35000 страниц, а общее число визитов работа — 83 503. Один из тестовых url находится в первом файле sitemap на 658 позиции, то есть очень близко к началу.

Выводы и рекомендации

  • Для Яндекса sitemap.xml является важной точкой и входа на сайт. В случае продвижения крупных проектов под Яндекс смысл позаботиться о корректной карте.
  • Googlebot в ходе краулинга куда больше ориентируется на систему внутренних и внешних ссылок. Как минимум для индексации в Google новых сайтов sitemap.xml не имеет особого значения. Конечно, анализ на 1 конкретном сайте еще не позволяет считать это универсальным правилом. Но заставляет задуматься о практической ценности sitemap.xml (см. Следующий пункт).
  • Если у вас есть задача повысить полноту индекса в Google, то в первую очередь нужно позаботиться структурой проекта и экономией краулингового бюджета. Не стоит полагаться на sitemap как универсальное решение (это типичная ошибка: "укажем все в карте и спим спокойно»).

P.S. Вчера древний сервис Feedburner, который я использовал для e-mail рассылки с блога, ошибочно отправил корявые письма. Прошу прощения за невольную засорение ваших ящиков, уважаемые подписчики. Хорошая новость: мое терпение лопнуло и теперь использую для рассылки MailerLite вроде бы очень достойная платформа, так что проблем больше быть не должно. Если вдруг и с ним что-то не так, напишите мне, буду очень благодарен за помощь в истреблении багов.

Читайте также:   Трафик с Google c минимальными затратами - презентация из доклада на SEMPRO 2017
Опубликовано topinup / Февраль 16, 2018
Рубрики: SEO
1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (Пока оценок нет)
Загрузка...


Заказ сайта на WordPress

Заполните форму, и наши специалисты свяжутся с вами в ближайшее время для создания сайта на выбранной теме WordPress.

Будьте в курсе последних новостей.

Подписывайтесь на наши страницы в соцсетях и на канал в Telegram.

Заказ бесплатной консультации

Ваше имя (обязательно)

Ваш телефон (обязательно)

Ваш e-mail (обязательно)