Как проверить индексацию сайта и страницы в Яндексе и Google

Коротко

Что значит «страница проиндексирована»

Индексация - это путь страницы в поисковую базу: робот находит адрес, загружает страницу, а система решает, включать ли её в поиск. Отсюда три разных состояния, их легко спутать:

• Робот страницу посетил. Яндекс отдельно предупреждает, что страница может обходиться роботом и всё равно отсутствовать в поиске.
• Страница находится в базе. Это ещё не значит, что её видно в результатах: в число страниц «в базе робота» Яндекса входят и те, что показываться не могут, например, после запроса на удаление.
• Страница участвует в поиске. Её можно найти. Но Google подчёркивает: даже статус «проиндексировано» не означает, что страница появится по любому запросу и на какой-то позиции.

Поэтому «проверить индексацию» - значит выяснить, участвует ли страница в поиске, и если нет, то по какой причине. Позиции и трафик - отдельный вопрос, их индексация не гарантирует.

Быстрая проверка без кабинетов

Подойдёт, когда нужно за минуту узнать, есть ли страница в поиске, а доступа к Вебмастеру или Search Console нет.

Что эта проверка не показывает. Справка Яндекса называет её способом выяснить, есть ли страница в поиске. Поиск по site: в Google даёт образец известных страниц, полного списка нет, причину отсутствия он не объясняет. Если страницы в результатах не нашлось, переходите к кабинетам: причина видна только там.

Как проверить в Яндекс Вебмастере

Для этого нужно, чтобы сайт был добавлен в Яндекс Вебмастер и права на него подтверждены.

1. Узнайте, сколько страниц в базе

   На странице «Мои сайты» посмотрите столбец «В поиске». Тот же показатель есть в разделе «Индексирование» → «Страницы в поиске»: выгрузите статистику в файл и найдите статус SEARCHABLE. Яндекс предупреждает, что это число страниц, загруженных в базу робота, и среди них есть те, что показываться в результатах не могут.

2. Посмотрите список страниц в поиске

   В «Страницах в поиске» переключатель «Все страницы» показывает до 50 000 страниц: дату последнего посещения роботом, адрес и заголовок title. Переключатель «Последние изменения» показывает, какие страницы появились в выдаче и какие ушли за последние три месяца. В списках есть фильтр, например по адресу.

3. Проверьте конкретную страницу

   Инструмент «Проверка страницы» показывает, какой код ответа получает робот, как выглядит содержимое страницы для робота и какой у неё статус: участвует в поиске или исключена. Статус смотрите на вкладке «Версия страницы в базе».

4. Поставьте важные страницы на мониторинг

   В «Мониторинге важных страниц» можно отслеживать до 100 адресов: услуги, главные разделы, самые посещаемые статьи. Вебмастер покажет дату последнего обхода, ответ сервера и статус страницы, а при настроенных уведомлениях сообщит об изменениях. Сведения обычно собираются несколько минут, иногда несколько часов.

5. Загляните в «Статистику обхода»

   Здесь видно, какие страницы обходит робот и какие не смог загрузить. Это помогает заметить, что нужные страницы робот пока не посещал или получает на них ошибки.

Отдельный список «Исключённые страницы» в «Страницах в поиске» показывает, что убрано из поиска и почему. Как читать эти статусы, разобрано ниже. Яндекс пишет: само наличие исключённых страниц и их количество не влияет на положение сайта в результатах поиска.

Как проверить в Google Search Console

Нужен сайт, добавленный в Google Search Console (сервис Google для владельцев сайтов). Адрес страницы должен принадлежать подтверждённому ресурсу.

1. Проверьте адрес в «Проверке URL»

   Вставьте полный адрес страницы в строку проверки вверху экрана. Инструмент показывает данные из индекса Google: проиндексирована ли страница, какую версию Google считает канонической, какие причины мешали индексации. Статус «URL есть в индексе Google» означает, что страница может показываться в результатах поиска, но не гарантирует этого.

2. Помните, что это не сегодняшняя версия страницы

   Результат отражает последнюю проиндексированную версию. Чтобы увидеть текущую, нажмите «Проверить страницу на сайте»: после правок это быстрый способ узнать, видит ли Google исправление.

3. Откройте отчёт об индексировании страниц

   Он показывает по всему сайту, сколько страниц проиндексировано, а сколько нет, и по каким причинам. Список примеров URL в отчёте ограничен 1000 адресов, поэтому по нему нельзя проверить каждую страницу. Для отдельной страницы используйте «Проверку URL».

4. Оцените, нормально ли то, что страницы нет в индексе

   Google ждёт в индексе канонические версии важных страниц, все адреса сайта там быть не обязаны. Дубли, страницы за запретом в robots.txt или с noindex не индексируются, и это допустимо.

Яндекс и Google рядом

Страницы нет в индексе: что делать

Сначала выясните причину, потом решайте, нужно ли что-то менять.

Если страница исключена в Яндексе

Причины и решения Яндекс перечисляет в справке «Почему страницы исключены из поиска». Коротко:

О настройке этих сигналов в нашем блоге: robots.txt, rel=canonical, страница 404 и неработающие ссылки.

Если страницу не проиндексировал Google

В отчёте об индексировании страниц среди причин чаще всего встречаются такие:

• Страница просканирована, но пока не проиндексирована. Google сообщает, что страница может быть проиндексирована позже, и просит не отправлять её повторно.
• Обнаружена, не проиндексирована. Google знает адрес, но ещё не загрузил страницу: обычно потому, что обход сайта мог создать лишнюю нагрузку, и его перенесли на потом.
• Страница является копией, канонический вариант не выбран пользователем. Google выбрал каноническим другой адрес. Это не ошибка, но если выбор неверный, укажите нужный адрес явно.
• Страница с переадресацией. Адрес перенаправляет на другой и сам не индексируется; индексироваться может страница, на которую он ведёт.
• Заблокировано в файле robots.txt и исключено по тегу noindex - два отдельных статуса. Если страница нужна в поиске, уберите блокировку.
• Не найдено (404) и ложная ошибка 404 (soft 404). Soft 404 - когда страница показывает сообщение «не найдено», но сервер отвечает не кодом 404. Для действительно удалённых страниц Google советует отдавать код 404.

Полный список причин и пояснения - в справке Search Console к отчёту.

Как ускорить индексацию, когда всё в порядке

Если причин для исключения нет, а страница новая, часто достаточно подождать. Сроки, названные в справках:

• Яндекс: сайты после добавления в Вебмастер обычно появляются в результатах в течение двух недель.
  • Для отдельных страниц есть «Переобход страниц».
  • Статус «В очереди» длится не более трёх дней, после обработки данные обновляются в течение двух недель.
  • Статус «Заявка обработана» не означает, что страница попала в поиск: закрытая от индексации страница в нём не появится.
  • Количество адресов в одной заявке ограничено, лимит обновляется ежедневно.
  • robots.txt, favicon.ico и sitemap на переобход отправлять не нужно: для карты сайта есть раздел «Файлы Sitemap».
• Google: для новой страницы или сайта справка называет срок порядка недели, а после запроса индексирования - до недели-двух.
  • Можно нажать «Запросить индексирование» в «Проверке URL». Google предупреждает: просьба не гарантирует появления страницы в индексе, число запросов в сутки ограничено.
  • Для многих страниц Google советует отправить файл sitemap с датами lastmod. О карте сайта - в статье про sitemap.xml.

Помогают и обычные внутренние ссылки: Google пишет, что страницу нужно уметь найти по ссылке с известной страницы или из карты сайта. Об этом в статье про внутреннюю перелинковку.

Как проверять регулярно

1. (Наш совет.) После публикации важной страницы проверьте её адрес в Вебмастере и в Search Console, через несколько дней и через две недели.
2. (Наш совет.) Добавьте ключевые страницы в «Мониторинг важных страниц» и включите уведомления.
3. (Наш совет.) Раз в месяц просматривайте «Исключённые страницы» в Яндексе и причины в отчёте Google. Смотрите, нет ли среди них нужных страниц; пустой список не цель.
4. Если нужных страниц в индексе заметно меньше, чем вы публикуете, сначала разберитесь с доступностью, ссылками и картой сайта, и только потом пишите новое. Это наш совет, правила поисковых систем такого не содержат.

Эти шаги проверяют только статус страницы. О росте позиций или трафика они не говорят.

Типичные ошибки

• Принимать за проверку один поиск по site:: он даёт образец страниц и не объясняет причину.
• Считать, что «Заявка обработана» или «URL есть в индексе Google» гарантирует показ.
• Отправлять на переобход одни и те же страницы каждый день вместо поиска причины.

О Head Promo

Head Promo - агентство поискового маркетинга. Подробнее об услуге - на странице SEO-продвижения на нашем сайте.

Частые вопросы