На этой неделе представители корпорации Google несколько удивили вебмастеров. Сначала выяснилось, что краулеры поисковой системы переходят далеко не по всем ссылкам. А чуть позже оказалось, что физическая скорость доступа к интернет-ресурсу влияет на количество просканированных страниц.
Буквально на днях в США завершился международный SEO-форум I/O 2018. В числе прочих гостей на нем побывали и сотрудники поисковой системы Google. Именно они, в одном из своих докладов, сообщили – поисковые роботы игнорируют некоторые типы ссылок. Далее представителям корпорации пришлось разъяснять этот момент, потому что присутствующие оказались несколько шокированы.
Итак, самый распространенный тип ссылок в сети интернет выглядит так: <a href=””></a>. Если искусственно не ограничивать их индексацию, то никаких проблем у роботов Google не возникнет. Они спокойно перейдут на предлагаемую страницу и просканируют контент.
Однако в программировании есть еще пара типов ссылок. Речь идет об атрибуте JavaScript – onclick. Именно с ним у краулеров возникают проблемы. И судя по словам представителей поисковой системы, спрогнозировать поведение ботов нельзя – иногда они переходят по таким ссылкам, в другой раз игнорируют.
Для того чтобы вебмастера не гадали, был представлен список с вариантами:
- <a href=”ссылка”> сканируется нормально</a>
- <span onclick=”changepage (ссылка)”> не сканируется </span>
- <a onclick=”changepage (ссылка)”> не сканируется </a>
- <a href=”ссылка” onclick=”changepage (ссылка)”> сканируется нормально</a>
Таким образом, становится ясно – при продвижении в поисковой системе Google очень важно обращать внимание на . В противном случае могут возникнуть проблемы со сканированием контента.
А чуть позже Джон Мюллер начал рассуждать о скорости сканирования в своем твиттере и выдал достаточно интересную фразу: «Чем выше скорость сканирования, тем больше контента будет просканировано».
Это несколько отличается от той информации, которая была известна ранее. До этого считалось, что боты Google в любом случае просканируют весь контент на сайте. При этом скорость доступа важна для пользователей, особенно в контексте индекса mobile-first.
Однако теперь получается, что скорость ответа сервера также влияет на объемы сканирования. И этот момент очень важен для интернет-ресурсов с большим количеством страниц. Потому что если краулеры не успевают дойти до каких-то документов, они не узнают о том, что там появилась новая информация.
Поэтому при оптимизации очень важно обращать внимание на скорость серверов и отсутствие ошибок в кодировке. Не стоит перегружать свои сайты редиректами и «лишними» элементами, так как все это косвенно влияет на скорость доступа.