Полное руководство по индексации страниц сайта

SEO оптимизация

Умение правильно настроить индексацию сайта на сегодняшний день важный навык любого SEO-специалиста. На практике я ежедневно вручную или с помощью специальных сервисов или расширений проверяю индексацию отдельных страниц или сайтов целиком.

3 способа проверить индексацию страниц сайта

Как правило всеми одновременно способами специалисты не пользуются и у каждого есть свой более удобный метод проверки индексации страниц сайта.

Использование специального оператора при поиске

Для того чтобы проверить есть ли страница в индексе или нет, достаточно перед урлом страницы в адресной строке дописать такое выражение url:

Например, чтобы посмотреть есть ли предыдущая статья моего блога в индексе нужно написать url:alexbrush.com/clearfy-pro-wordpress.html

У меня есть способ для ленивых — использовать этот же прием буквально в один клик. В свое время мне один коллега дал скрипт, который работает довольно удобно.

Все что Вам нужно сделать — создать в своем браузере новую закладку и вместо урла вписать нужный скрипт. Скрипт можете скопировать ниже — пользуйтесь на здоровье 🙂

javascript:( function () %7B var url %3D document.location.href.replace(%2F#.*$%2Fg,»); url %3D url.replace(%2F^http%3A\%2F\%2F%2Fg,»); url %3D url.replace(%2F[\%2F]+$%2Fg,»); url %3D url.replace(%2F^www\.%2Fg,»); url %3D ‘http%3A%2F%2Fyandex.ru%2Fyandsearch?rd%3D0&text%3D’ + escape(‘url%3A’ + url + ‘ | url%3Awww.’ + url); window.open(url,’_self’); %7D ) ()

Я назвал закладку «Индекс» и выглядит у меня все это дело так

Полное руководство по индексации страниц сайта

Теперь, находясь на любой странице любого сайта я могу просто нажать на созданную «кнопку» и у меня выйдет результат того есть ли страница в индексе или нет и в каком она виде.

В отличие от обычного проставления оператора url: перед адресом страницы, здесь проверяешь также и адрес страницы с www — иногда при первичном анализе это позволяет выявить что не настроенный редирект с www на без www.

Полное руководство по индексации страниц сайта

Проверка статуса URL в Яндекс вебмастер

Для того чтобы проверить индексацию страницы в Яндекс, достаточно воспользоваться собственным инструментом поисковика.

В панели Яндекс вебмастер в разделе «Индексирование» переходите в выпадающем меню на пункт «Проверить статус URL» и там уже все интуитивно. Вбиваете в поле урл, необходимой для проверки страницы, и нажимаете проверить.

Я проверил в панели вебмастера все ту же страницу статьи написанной мной ранее.

Полное руководство по индексации страниц сайта

Проверка URL в панели Google Search Console

Для того, чтобы проверить индексацию страницы в Google также не нужно изобретать велосипед. В новой панели вебмастера Google есть прекрасный инструмент для проверки отдельных страниц.

Если проверяемой страницы еще нет в индексе, будет такой результат

Полное руководство по индексации страниц сайта

Можно тут же запросить индексирование страницы. Google все проверит хорошо со своей стороны и если нет запретов на индексацию или других причин, отправит страницу на индексацию.

Полное руководство по индексации страниц сайта

Если же с вашей страницей все хорошо и она уже прошла индексацию в Google, будет выведена информация такого плана.

Полное руководство по индексации страниц сайта

Массовая проверка индексации страниц сайта

Часто бывает на практике, что нужно посмотреть всю картину по индексации сайта, а не отдельной его страницы.

Для этого существует множество решений и я как правило пользуюсь двумя способами.

1 способ — также как и с отдельной страницей проверка индексации сайта через оператор, только в этот раз нужно использовать оператор site:

Ниже пример из Яндекса, но в Google проверить индексацию сайта можно аналогично.

Полное руководство по индексации страниц сайта

2 способ —  чтобы не париться и не писать вручную операторы перед урлом, я использую расширение в браузере SEO-tools. Его аналогов много, но мне по душе именно этот набор инструментов.

Находясь на любой странице любого сайта я просто кликаю по значкам Яндекс и Google в наборе инструментов для проверки индексации и в новых вкладках у меня открывается полная картинка по индексации конкретного сайта. Это удобно — буквально в 3 клика узнать всю информацию от состоянии дел сайта в поисковой выдаче.

Полное руководство по индексации страниц сайта

Как закрыть страницу от индексации

Самый распространенный на практике способ закрыть страницы сайта от идексации — сделать это с помощью файла robots.txt. Это проверенный временем и рекомендованный самими поисковиками способ. В этом файле можно закрыть от индексации как весь сайт целиком, так и отдельные его разделы.

Для закрытия всего сайта от индексации добавьте в файл роботс всего 2 строки

User-agent: *
Disallow: /

Это скажет поисковым роботам, пришедшим на сайт, что его не нужно индексировать вообще. Если нужно закрыть не весь сайт, а его отдельные страницы, типы страниц или разделы — используйте оператор Disallow: / более точечно.

Разберем пару примеров.

Disallow: /wp-admin/

— такой конструкцией мы закрываем внутренний раздел сайта wp-admin, который в принципе не нужен нам в индексе.

Disallow: /seo-marathon-v6.html

— таким образом я могу, например, закрыть от индексации конкретную статью. У меня статьи имеют урл .html на конце, но у вас может быть не так и учитывайте это.

Как в wordpress закрыть сайт от индексации

Закрыть сайт от индексации в wordpress достаточно просто.

Вам не обязательно создавать и заполнять файл robots.txt, достаточно в админ-панели установить одну галочку и поисковики будут понимать что сайт запрещен к индексации.

В разделе настройки — чтение достаточно просто поставить галочку напротив пункта «Попросить поисковые системы не индексировать сайт».

Полное руководство по индексации страниц сайта

Ускорение индексации страниц сайта

Эксперименты по ускорению индексации страниц сайта наверно мой любимый пункт во всей профессии.

Сайт в процессе оптимизации постоянно меняется, дорабатывается и всегда есть потребность отправить на индексацию новые страницы или переиндексировать старые.

У каждого специалиста есть свой набор действий, и ниже я перечислю свой список.

  • первым, что я делаю — добавляю сайт в аддурилки, если страницы новые или же их надо переиндексировать.
  • делюсь страницей в социальных сетях. Да да социальные сигналы хорошо работают и сегодня. Отлично себя показали на практике Facebook, Twitter и G+
  • если страница для вас действительно важна и нужно как можно быстрее ее проиндексировать — можно немного поспамить по тематическим группам в соц. сетях и в комментариях на тематических блогах или форумах. Но этот метод уже как дополнительный — хорошо отрабатывают первые 2 пункта.

Я в ближайшее время хочу провести эксперимент по оживлению старых статей путем их переписывания и обновления даты публикации текущим днем. Это также можно расценивать как способ оживить старый контент, который спустя время немного просел. А пункты выше помогут быстрее проиндексировать новую страницу.

Вроде описал все что хотел. Если у вас есть свое мнение на этот счет или интересные методы проверки или ускорения индексации — пишите в комментариях. Буду рад обсудить.

Постоянно учусь чему-то новому и совершенствую то, чем увлечён в данный момент. Люблю помогать людям и делиться знаниями по собственной инициативе.

По вопросам сотрудничества пишите https://t.me/alexbrush

SEO-специалист Александр Брушкивский - личный блог
Добавить комментарий

  1. Саша

    Спасибо, с интересом почитал, правда, со скриптом не очень понятно.

    Ответить