Индексация в Яндексе «Путь» ботов Яндекса по сайту Список исключенных из поиска страниц Список страниц в поиске Индексация в Google Заблокированные для индексации ресурсы Исключенные из поиска страницы Если сайт плохо индексируется поисковыми системами, он недополучит органического трафика. Поэтому в агентстве «Реаспект» принято за стандарт проводить клиентам постапдейтную аналитику.
Частоту постапдейтной аналитики определяем в зависимости от размера сайта:
- небольшой сайт услуг до 500 страниц — 1 раз в месяц;
- интернет-магазин или портал от 1000 страниц — 2-4 раза в месяц.
Для первого анализа данные берутся за весь доступный период, а последующие отчеты собираются за период между проведенными анализами.
В статье я расскажу как мы проводим эту работу, на что обращаем внимание и как исправляем типовые ошибки.
Минимальный требуемый инструментарий бесплатен и доступен каждому — это консоли поисковых систем: Яндекс.Вебмастер и Google Search Console.
Индексация в Яндексе
Команда Яндекса создала прекрасный кабинет Яндекс.Вебмастер, информация из которого может дать ответ на многие вопросы при продвижении.
«Путь» ботов Яндекса по сайту
Где смотреть: Индексирование — Статистика обхода.
В отчете показывается список страниц, которые обошел робот.
Боты обходят страницы, на которые есть ссылки (внутренние / внешние), которые появляются в сообщениях (email / социальные сети) и о которых сообщают «стучалки».
Яндекс.Вебмастер позволяет строить отчеты непосредственно в своем интерфейсе, задавая нужные фильтры и сортировки. Но когда результатов более 20 (столько строк помещается на одной странице), удобнее их обрабатывать в excel.
В excel-выгрузке будут столбцы:
- url — адрес страницы,
- prevHttpCode — статус, который был у страницы в предыдущий обход,
- currentHttpCode — статус, полученный в последний обход,
- lastAccess — дата последнего захода на страницу.
Обратите внимание: если сайт большой и часто обновляется, робот может заходить на страницу несколько раз за выбранный период. Для того чтобы получить актуальные данные, достаточно удалить дубликаты по столбцу «url».
Возможные статусы:
- N/a — группа статусов, смысл которых сводится к тому, что страница раньше была недоступна или неизвестна роботу
- 200 — существует, доступна для участие в поиске
- 404 — не существует, не будет участвовать в поиске
- 301 — перенаправляет на другую страницу
- 500 или 502 — ошибка доступа.
Мы обрабатываем выгрузку через фильтры по столбцам «prevHttpCode» (основной) и «currentHttpCode» (вторичный), поочередно проходя каждую пару значений (N/a + 200; N/a + 404; 200 + 404...).
Обратите внимание: в excel-выгрузке этого отчета столбцы «prevHttpCode» и «currentHttpCode» перепутаны местами.
Пара prevHttpCode + currentHttpCode | На что обратить внимание |
N/a + 200 | Не стал ли бот «гулять» по страницам, не предназначенным для появления в поиске (мусор, конфиденциальные данные и так далее). |
N/a + 404 | Найти, где бот нашел битые ссылки, и откуда они идут (свой сайт или внешние ссылки)? — Внутренние ссылки убрать или поправить на правильные. — Внешние ссылки, если они хорошие, попросить у вебмастера сайта поправить на корректные. |
Любой статус + 500 или 502 | Проверить стабильность работы сервера. |
200 + 404 | Узнать, почему были удалены страницы. |
404 + 200 | Узнать, почему несуществующие страницы стали отдавать код существующей страницы. |
Список исключенных из поиска страниц
Где смотреть: Индексирование — Страницы в поиске — Страницы в поиске —Исключенные страницы.
В отчете показываются страницы, которые исключены из поиска Яндекса, а также причины их исключения. Список возможных причин исключения и пояснение и рекомендации представлены в соответствующем разделе помощи Яндекса.
Мы обрабатываем выгрузку отчета, поочередно фильтруя в Excel все типы ошибок, определяя корректность исключения страниц. Если видим полезные страницы, исключенные из поиска, ищем причину и формируем задание для устранения ошибки и возвращения страниц в поиск.
На что особенно стоит обратить внимание:
- Массовые выпадения из поиска по любым причинам. Даже если над сайтом проводились работы, которые предполагают такие последствия.
- Любые проявления статуса «BAD_QUALITY».
Список страниц в поиске
Где смотреть: Индексирование — Страницы в поиске — Страницы в поиске — Все страницы.
В отчете приводится список всех страниц, участвующих в поиске Яндекса.
В выгрузке мы обычно проверяем:
- Появление нетипичных страниц.
- Появление дубликатов основных страниц.
- Страниц с дубликатами title (по столбцу «title»: excel — условное форматирование — повторяющиеся значения).
Индексация в Google
Команда Google сейчас дорабатывает новый кабинет вебмастера, и часть интересующего нас функционала доступна в старом Google Search Console, а часть нужного функционала доступна в новой версии GSC.
Заблокированные для индексации ресурсы
Где смотреть: Старый GSC — Индекс Google — Заблокированные ресурсы — %хост%.
В отчете показывается список ресурсов, которые заблокированы для индексации ботам Google, а также все страницы, использующие заблокированные ресурсы.
Блокирование некоторых ресурсов для индексации ботом Google может привести к ошибкам в индексации страниц, что может сказаться на видимости сайта. Поэтому важно контролировать, какие файлы закрыты для индексации.
Мы советуем открывать для индексации css, js (если вы не преследуете свои цели, запрещая индексацию некоторых js файлов), изображения.
Исключенные из поиска страницы
Где смотреть: Новый GSC — Статус индексирования — Индексирование отправленных URL — Исключено.
В отчете представлены страницы, которые были исключены из участия в поиске Google, а также описаны причины исключения.
Совет: в разделе «Индексирование» нового GSC есть возможность посмотреть отчет как по всем страницам, о которых знает Google. Так и отдельные отчеты по состоянии страниц добавленных в разные sitemap.xml. Но в одном экспортируемом отчете будет не более 1000 строк. Поэтому, если у вашего сайта много страниц, мы советуем делать отдельные xml карты, разделяя их по каким-либо признакам, но не более 1000 строк в одной карте
Выгрузка данных из GSC менее удобная, чем выгрузка из Яндекс.Вебмастера. Во-первых, в одном скачиваемом отчете будет не более 1000 строк. Во-вторых, у каждого типа ошибок отдельные отчеты.
Список возможных причин исключения, пояснения по ошибкам и советы по исправлению приведен в соответствующем разделе помощи Google.
Так же как анализировали страницы подобного отчета из Яндекс.Вебмастер, анализируем все типы ошибок и исключенные страницы. Проверяем корректность исключения. Ищем корень проблемы и составляем задание на исправление ошибок.
На подобную аналитику для интернет-магазина с более ста тысяч страниц уходит от 30 минут до полутора часов рабочего времени, раз в неделю. И эта несложная работа может помочь на ранних этапах диагностировать и исправить ошибки, которые могли стоить месяцев работы и большого количества денег.
Понятно, что можно получать более интересные для анализа результаты, имея на руках специфические инструменты.
Давайте поговорим в комментариях о том, чего не хватает подобной аналитике, и как вы проводите подобные работы.
Руслан Фатхутдинов, руководитель отдела поискового продвижения в агентстве «Реаспект». Сертифицирован в Google Analytics, Яндекс.Метрике, эксперт Яндекс по обучению. Автор Telegram канала «Идея украдена».