Навигация доступна поисковому роботу

#html

Как понять, что навигация сайта доступна поисковому роботу? 
    

Ответы

Ответ 1

С помощью инструментов для вебмастеров, которые предоставляют все крупные поисковые
системы, можно посмотреть какие страницы попали в индекс, если страницы в индексе,
значит бот до них добрался.

Без доступа к аккаунту вебмастера, посмотреть какие страницы в индексе можно с помощью
поисковых операторов (example.com надо заменить на свой домен):

Для Google:

https://www.google.ru/search?q=site:example.com


Для Яндекс:

https://yandex.ru/search/?text=site:example.com


Для Bing:

http://www.bing.com/search?q=site:example.com


Если определенная страница в индексе, это значит что навигация до этой страницы точно
доступна боту. Исключением может быть случай, когда на сайте есть XML карта сайта,
в таком случае бот найдет страницы и без навигации на сайте. Проверить есть ли XML
карта у сайта можно с помощью запроса к robots.txt:

http://example.com/robots.txt


Затем надо найти строку, начинающуюся с "Sitemap":

Sitemap: http://example.com/sitemap.xml


Это будет ссылка на файл (или несколько) карты сайта.

Тут же в robots.txt проверьте какие страницы вашего сайта запрещены к индексированию
с помощью директивы Disallow.

Если есть доступ к серверу, можно проверить конфиг сервера — не блокирует ли он ботов.
В логах сервера можно посмотреть по каким страницам ходили боты.

Так же, можно посмотреть с помощью инструментов Google как поисковый бот видит определенную
страницу https://www.google.com/webmasters/tools/googlebot-fetch.
Указываете страницу, Googlebot показывает как он ее видит (ее html код). В этом html
коде ищете теги , это будут те ссылки, которые бот точно видит.

Надо понимать, что Googlebot вероятно самый продвинутый и он видит сайты как минимум
как браузер (или даже лучше), т.е. он выполняет JS, iframe, анализирует расположение
блоков на странице, размеры шрифтов и т.д.. Например, 
Яндекс буквально недавно объявил, что их бот научился выполнять JS для некоторых
популярных сайтов, а следовательно "обычные" сайты такой чести пока не удостоились.