Поисковые роботы и их поведение на сайте

Софт

Поисковые роботы  или как их еще называют боты поисковых систем — это специальные программы, которые мониторят сайты в сети, обновляют свою базы сайтов и информацию о них.

В целом, главная работа роботов поисковых систем своевременно обходить и при хорошем качестве страницы добавлять ее в индекс.

Какую работу выполняют роботы поисковых систем

Получается что роботы поисковых машин следят на нашими сайтами практически постоянно, но как же нам следить за их поведением. Я больше года назад задавался таким вопросом и поставил на свой сайт специальный скрипт, который отслеживает активность роботов нескольких поисковых, а также боты социальных сетей.

Помимо просмотра новых страниц или страниц что были изменены, боты сканируют ссылки с данной страницы и после переходят по ним, чтобы проверить актуальность информации и качество страницы.

К слову говоря, если роботы не получили сигнал обойти страницы извне, то в первую очередь они смотрят на файл robots.txt, а следом за ним на xml карту сайта — это дает им полную картину по сайту.

Скрипт мониторинга активности роботов поисковых систем

<!— Скрипт мониторинга роботов —>
<?php
function robot ($bot)
{
if(strpos($_SERVER[‘HTTP_USER_AGENT’], $bot)!==false)
{
$text = date(«Y-m-d H:i») . » $bot посетил страницу: «. $_SERVER[‘REQUEST_URI’].»\r\n»;
// запись в файл
$file = fopen(«bot.txt»,»a»);
fwrite($file, $text);
fclose ($file);
// отправка на почту
mail(‘…@…ru’, «$bot посетил страницу», $text);
}
}

// отслеживаем роботов
robot(‘Googlebot’);
robot(‘Yandex’);
robot(‘Slurp’);
robot(‘Yahoo’);
robot(‘MSNBot’);
robot(‘Teoma’);
robot(‘Scooter’);
robot(‘ia_archiver’);
robot(‘Lycos’);
robot(‘StackRambler’);
robot(‘Mail.Ru’);
robot(‘Aport’);
robot(‘WebAlta’);
robot(‘Twitterbot’);
robot(‘Crowsnest’);
robot(‘facebook’);
robot(‘vkShare’);
robot(‘MailRuConnect’);

?>

<!— Окончание скрипта мониторинга —>

Код лучше всего вставить в подвал сайта, куда обычно помещают код от Яндекс метрики и другие скрипты для сайта.

Кавычки в скрипте замените на вертикальные двойные и одинарнае — у меня на блоге шрифт отображает кавычки не так как требует систаксис скрипта.

Роботы есть у всех поисковых систем т.к. это их одна из основных функций — мониторить сеть и индексировать или удалять из индекса страницы сайтов.

Меня в первую очередь конечно интересовали поисковые роботы Яндекса и Google, а все остальное уже второстепенно.

Чтобы поисковой робот google поскорее обратив внимание на Ваш новый материал на сайта нужно в панели Search Console перейти в раздел посмотреть как GoogleBot и отправить новую страницу на индексацию. Это поможет ускорить процесс прихода бота google на сайт.

А для того чтобы поисковой робот Яндекса проделал тоже самое, нужно сделать переобход страниц.

Наблюдать за активностью поисковых роботов можно будет по такому пути http://вашсайт/bot.txt

Я бы посоветовал поэкспериментировать. Например, когда вы делитель новой статьей или товаров только сто добавленным на сайт поделитесь этим в социальных сетях. С точки зрения SEO это называется социальные сигналы.

Спустя несколько минут посмотрите в файл bot.txt по ссылке как я указал выше и Вы заметите интересную картину — сразу после прихода на сайт ботов социальных сетей, следом за ними прибегают и роботы поисковых систем. А если в Вашей статье есть ссылка на другой материал, то с большой вероятность бот поисковой системы перейдет и посмотри снова и эту страницу.

Вообщем следить за роботами это интересное занятие, по крайней мере для SEO-шников.

Постоянно учусь чему-то новому и совершенствую то, чем увлечён в данный момент. Люблю помогать людям и делиться знаниями по собственной инициативе.

По вопросам сотрудничества пишите https://t.me/alexbrush

SEO-специалист Александр Брушкивский - личный блог
Добавить комментарий