Как «приручить» быстробота на сайт. Эксперимент

На днях, я загорелся идеей провести эксперимент с собственным блогом, который Вы сейчас читаете и «приручить» быстробота на него. О том как я собираюсь это сделать и какие будут от этого плюсы я расскажу ниже. Вам наверняка интересно, что же это за зверь такой — быстробот?!

Что такое быстробот  и откуда он «приходит»

Быстробот (быстрый робот) — это робот поисковой системы, который мягко говоря «поселился» у вас на сайте. Каждый день или почти каждый, ваш сайт и миллионы других сайтов в сети, осматривают роботы поисковых систем на наличие обновлений.

Подавляющее большинство сайтов после осмотра роботами остаются без изменений, но те у кого «поселился» быстробот страницы почти сразу попадают в индекс той или иной поисковой системы.

Такое явление, как быстробот обычно свойственно сайтам СМИ, на которых информация обновляется очень стремительно (30-50 статей в сутки в среднем).  Роботу поисковой системы просто не выгодно полезную и актуальную информацию размещать в сети с запозданием, обходя сайт в лучшем случае, раз в сутки. Поэтому робот просто говоря «поселяется» на сайте и пристально следит за каждым обновлением сайта — это и есть быстробот.

Преимущества наличия на сайте быстробота

Ну во-первых — это моментальное попадание нового материала на сайте в индекс. В обычной же ситуации, приходится ждать 1-2 обновления (раз в 1-2 недели) у Яндекс и 2-5 дней у Google. Хотя для загона в индекс Google есть способ, который я опишу ниже.

Во-вторых, если Вы СМИ или городской портал — новости Вам надо доносить до пользователей очень оперативно и уж точно не ждать несколько дней, пока это потеряет актуальность.

Если же у вас обычный блог как у меня, также можно публиковать разного рода новости в сфере it и кто первым попадет в индекс с этой новостью, тот и получит основную часть траффика на свой сайт.

К тому же, если Вы пишите интересно и как я полностью уникально, из собственного опыта — за 2 недели между обновлениями вашу «интеллектуальную собственность»  могут несколько раз перепечатать и опубликовать у себя на сайтах другие блоггеры.

Ну и ко всему вышесказанному — это очень приятно, когда ты написал, а поисковик принял сразу в индекс и возможно вы кому-то именно сейчас помогли найти ответ на проблему.

Тактика привлечения быстробота

Вообще, идея провести данный эксперимент появилась благодаря сообщению Vyacheslav на форуме, в котором он проводил подобный эксперимент, но только с использованием нескольких (20) весомых твиттер-аккаунтов. У меня же нет столько аккаунтов и я решил несколько по-своему провести этот эксперимент.

Я буду использовать следующие инструменты:

• Каждый день писать 2-3 статьи — это по сравнению со сми очень мало, но главное стабильно
• Каждую опубликованную статью отправлять (делиться) в твиттер и G+ каждого по одному аккаунту
• Добавлять каждую опубликованную статью в аддурилки Яндекс и Google 
• Сделаю Яндекс виджет для своего блога и буду раз в сутки проходить по нему на сайт.

Если не считать что 2-3 статьи это мало для привлечения быстробота, все остальные действия должны помочь «привлечь». Как быстро это произойдет никто не знает, посмотри у кого первым терпение не выдержит). Главное стабильность публикаций и остальных действий описанных выше.

Мониторить активность роботов поисковых и социальных сетей я буду с помощью небольшого скрипта, которым поделился любезно Вячеслав. Скрипт сканирует всех входящих на сайт роботов и записывает их в файл, в котором заметил, что боты приходят не только на опубликованную и добавленную в аддурилки страницу, но и просматривают еще несколько страниц, статей рядом с добавленной.

Этапы эксперимента с быстроботом

Периодически, я буду обновлять, дописывать эту статью, на основе наблюдений за активностью роботов поисковых систем.  И конечно же можете вместе со мной проделывать данный эксперимент и отписываться в комментариях как у вас идут дела с «привлечением» быстробота.

Как обстоят дела на начало эксперимента

Сегодня 05.04.16 и я объявляю начало эксперимента по «привлечению» быстробота открытым.

На данный момент, страницы в Google залетают через 2-3 дня, если не добавлять в аддурилку. Обновление поисковой выдачи Яндекс вообще стало редко раз в 12 дней и то статьи попадают в индекс только спустя 2 обновления. Само собой это все расстраивает и снижается мотивация писать больше.

Будем надеяться, что этот эксперимент разовьет во мне привычку писать, больше и чаще. А поисковые системы, в частности Яндекс порадует меня подарком, в виде быстробота. Мне, в отличии от СМИ — это не так критично важно, но все же будет приятно иметь у себя на сайте быстробота.

Зачастую, после прихода быстробота на сайт — приходит довольно хороший трафик.

Обновление 6 мая 2016 года

Прошел уже месяц с начала эксперимента и быстробота еще нет. Хотя наблюдая за поведением роботов поисковиков можно заметить очевидный интерес к моему блогу.

Гугл бот очень активно его посещает — более 40 раз в сутки, а Яндекс поменьше. Яндекс бот уже понял что все новые статьи выводятся на главную страницу и если я даже не публиковал статью сегодня, он обязательно заглянет на главную страницу и возможно зацепит еще несколько.

Влияние шеринга в соц сети как и планировал оказывает положительное влияние. Помимо моих читателей с соц сетей на блог сразу же бегут боты Яндекса и Google, что не может не радовать.

Совсем скоро роботы поисковых систем привыкнут приходить на сайт за обновлениями и просто останутся там, тем самым превратившись в «быстроботов». Скорей бы уже 🙂

К сожалению, я не в полной мере старался и последнюю неделю или чуть больше не писал, в связи с поездкой на HackDay в Алматы. В рамках эксперимента это не простительный пропуск, но у меня было время подумать.

На днях я прочитал интересную статью на авторитетном веб-ресурсе, о том что много контента не значит круто. Хотя хочется для моих читателей затронуть как можно больше интересных тем.

Время на написании одной развернутой статьи может уйти несколько часов, но это будет того стоит. В статье говорилось, как человек с 50 статьями на сайте завидовал тому у которого 500 статей и он был выше в ТОП.

Человек с 50 статьями решил что в этом и дело и заказав кучу рерайта со временем превратил 50 в 5000 статей. Очевидно то, что он так и не обошел того у кого было 500, а все потому, что качество этих 500 статей было на высоте, а здесь 5000 единиц мусорного, не интересного контента.

В итоге для большего результата, я решил писать не 2-3 статьи, а стабильно одну, но более раскрывающую тему статьи до мелочей. Это однозначно правильное решение, нежели плодить кучу малоинформативных статей. Кстати говоря, сейчас у меня на сайте всего около 50 статей.

Вчера в статье про конкуренцию молодого сайта со взрослым я как раз затрагивал тему того, что обходить мощные сайты гиганты можно и нужно, но для для этого надо писать хорошие, развернутые статьи.

В остальном, порядок действий в эксперименте остался прежним. Следите за обновлениями.

Обновление 23 ноября 2016 года

Я к своему сожалению не придерживался плана, что был задуман изначально и очень мало писал в блог с большими перерывами. Ссылок не закупал и не собирался. Посещаемость блога на момент начала эксперимента была мизерная и составляла около 50 посетителей в сутки.

Сейчас же средняя посещаемость блога в сутки составляет 350 уников в сутки и причем большая часть около 90% составляют переходы из поисковых систем. А теперь пару слов о том, что же дало такой прирост.

Было написано несколько статей, одна из которых «как сделать кнопку связаться в инстаграм«, которые в пик своей актуальности приносили мне до 600 посетителей в день. Такой бурный естественный рост траффика на сайт послужил тому, что увеличились позиции и посещаемость и с других статей.

Целью эксперимента было привлечение быстробота на сайта. Отчасти мне это удалось и поисковики довольно пристально стали следить за моим блогом. Думаю это произошло благодаря тем трафиковым статьям, которые подняли мой сайт по полезности в глазах поисковиков.

К слову говоря, большая часть трафика идет именно с Google — он довольно неплохо полюбил мой блог.

Если приятных изменений, что произошли в последнее время — переобход страниц в Яндекс наконец-то стал полноценно выполнять свои функции. После добавления туда новой статьи или 10 новых страниц, они все уже через 2-3 часа попадают в индекс Яндекса.

Теперь не нужно ждать по 2-3 недели пока Яндекс изволит проиндексировать новые страницы сайта, а уж тем более новый только сделанный сайт.

По факту, сам быстробот работает так, что без добавления в аддурилки Яндекса и Google страницы почти моментально попадают в индекс этих поисковых систем. Именно такого я еще не добавился, но промежуточный результат, что страницы так быстро могут попасть в индекс, меня явно устраивает.

Для быстробота, как и было запланировано — нужно писать если не много, но хорошие статьи и стабильно без перерывов и тем более больших. Очень много работы по агентству и совсем мало времени на блог.

Хотя все это отговорки и надо работать активно. Наметил хорошие планы, о которых скоро поведаю.

Обновление 11 мая 2017 года

Как таковой быстробот на сайт так и «не пришел». Но признаю, что для соблюдения всех условий, я слишком не часто публиковал статьи в блог. Но положительно все эти действия все же сказались на индексацию.

Как и описано в первой части статьи, я после каждой публикации делюсь ей в социальных сетях — частично на автомате это происходит, частично делаю анонсы через smmplanner.
Также, сразу после публикации, я добавляю сайт в аддурилки Яндекса и Google.

Этот комплекс действий раньше только мог способствовать небольшому ускорению индексации, а сейчас страница залетает в индекс Яндекса буквально за 5-10 минут, а в индекс Goggle вообще за секунду.

Это конечно не может не радовать и сильно помогает при публикации актуальных новостей.

Например, новость про новый фильтр Яндекса Баден-Баден зашла просто на отлично и я получил достаточно много трафика. Раньше, я бы ждал индексацию только что опубликованной страницы 1-2 недели в Яндексе и конечно весь событийный трафик бы терял.

Теперь можно смело делать контент на любую актуальную новость и получать трафик по ней — порой даже выступая в роли первоисточника новости на русском языке.

Этот набор действий после публикации немного хуже работает для сайтов которые прям очень редко обновляется — поисковые роботы неохотно посещают такой сайт и им нужно время привыкнуть.

Во общем метод соц сети + аддурилки однозначно сегодня работает — довольно быстро страницы попадают в индекс. У моих учеников, что во время курса SEO делают и продвигают сайты с нуля этот метод позволяет получать неплохой трафик уже в первый месяц жизни сайта.