Посмотреть сайт как google бот

Сканер Google для сайтов воспроизводит процесс сканирования и обработки веб-страниц. С его помощью вы можете узнать, есть ли у робота Google доступ к вашим страницам (в т. ч. изображениям или скриптам) и как он их распознает, а также исправить найденные проблемы сканирования. Открыть сканер можете по этой ссылке

Проверка

1. В текстовое поле введите URL страницы, которую нужно проверить. Пустое поле соответствует корневому каталогу сайта. А если вы проверяете ресурс http://example.com, то по запросу stores/indiana/1234.html будет обработана страница http://example.com/stores/indiana/1234.html.
   Ограничения:

   • Сканируемые URL относятся к текущему сайту. Так, если это http://example.com, то URL на сайтах https://example.com и http://m.example.com не будут сканироваться.
   • Инструмент никуда не отправляет файлы cookie, учетные данные и иную информацию.
   • Инструмент не переходит по ссылкам переадресации. Если вы просматриваете страницу, на которой они есть, откройте их вручную (см. описание статуса «Перенаправлено» ниже).
2. При желании можно выбрать тип робота Google для просмотра. Это определяет и выполнение запроса «Получить и отобразить». Доступные варианты:
   1. Для ПК (по умолчанию).
   2. Для мобильных устройств (смартфонов).
   3. Для мобильных устройств: cHTML (в основном для японских мобильных телефонов среднего класса). Отображение не поддерживается.
   4. Для мобильных устройств: XHTML/WML (мобильных телефонов среднего класса). Отображение не поддерживается.
3. Нажмите Сканировать или Получить и отобразить.
   • Сканировать. Инструмент запрашивает указанный URL на вашем сайте и отображает ответ HTTP. Он не обращается к ресурсам страницы, например изображениям или скриптам. Это достаточно быстрая операция, которую можно использовать для проверки или отладки сетевого подключения или устранения проблем безопасности.
   • Получить и отобразить. Инструмент запрашивает указанный URL на вашем сайте, отображает ответ HTTP, а также страницу в соответствии с заданной платформой (обычный компьютер или мобильное устройство). В рамках этой операции запрашиваются и обрабатываются все ресурсы на странице, в том числе изображения и скрипты. Это позволит выявить различия между тем, как вашу страницу видят робот и пользователь.
4. Запрос попадет в таблицу истории сканирования со статусом «Выполняется». Если он будет выполнен успешно, в строке появится информация о нем. Нажимая на строки с успешно просканированными ресурсами, изучите сведения о них, в том числе заголовки и данные HTTP-запроса, а при использовании команды «Получить и отобразить» – список заблокированных ресурсов и вид страницы.
5. Если запрос был успешно выполнен не более четырех часов назад, вы можете заказать повторное сканирование и, по возможности, повторную индексацию страницы наряду с ресурсами, на которые она ссылается.

Сканирование можно выполнять не более 500 раз в неделю. Если вы скоро достигнете этого предела, то появится уведомление.

Статусы запросов на сканирование

В таблице истории сканирования показаны последние 100 запросов. Чтобы просмотреть подробные данные по любому из них, нажмите на его строку. Вы увидите один из статусов:

• Выполнено. Наш робот успешно связался с вашим сайтом, просканировал страницу и получил все ресурсы, на которые она ссылается. Нажмите на строку таблицы, чтобы просмотреть подробные сведения.
• Частично выполнено. Робот видит ваш сайт, но некоторые ресурсы страницы заблокированы посредством файлов robots.txt. Если вы выполняли только сканирование, нажмите «Получить и отобразить». Изучите страницу и выясните, не заблокированы ли какие-либо ресурсы, в связи с чем корректная обработка данных стала невозможной. Если это так, измените файлы robots.txt, которые вы можете редактировать. Если же дело в файлах robots.txt, к которым у вас нет доступа, попросите их владельцев разблокировать нужные ресурсы. Советуем изучить описания ошибок сканирования.
• Перенаправлено. Это значит, что сервер перенаправил запрос. Сканер Google не выполняет такую операцию. В отличие от настоящего поискового робота Google, который при сканировании URL выполняет переадресацию, инструмент «Просмотреть как Googlebot» не в состоянии ее воспроизвести. Выполните ее вручную:
  • Если переадресация выполняется в рамках того же самого ресурса, вы увидите кнопку, позволяющую перейти по целевому адресу, добавив требуемый URL в поле.
  • Если URL ведет на другой принадлежащий вам ресурс, нажмите «Перейти» для автозаполнения адреса, скопируйте его, перейдите к новому сайту и вставьте URL в текстовое поле для сканирования.

  Проанализируйте ответ HTTP, просмотрев страницу подробных данных сканирования. Найдите код ошибки, а затем выполните эти инструкции. Перенаправление могут инициировать сервер, метатеги или код JavaScript на странице.

Ошибки сканирования ресурсов

Нажмите на строку со статусом Частично выполнено, чтобы увидеть таблицу с обнаруженными ошибками. Обычно они связаны с заблокированными ресурсами на странице. Возможные варианты указаны в таблице.