Малоценная или маловостребованная страница: что это в Яндекс Вебмастере и как исправить

Коротко

Что означает статус

Яндекс хранит в поисковой базе данные о множестве страниц, и по запросу может найтись большое количество результатов. Справка «Малоценные или маловостребованные страницы» объясняет: алгоритм может не включать страницу в поиск, если у неё мало шансов оказаться востребованной пользователями. Так бывает, если страница дублирует уже известные роботу страницы, не содержит контента или её контент не совсем соответствует запросам.

Важные детали из справки:

• Это автоматический регулярный процесс. Алгоритм проверяет страницы почти каждый день, поэтому решение может измениться, даже если вы ничего не правили.
• Это не нарушение. Наличие таких страниц не значит, что у сайта есть ограничения в ранжировании. Ограничения проверяют отдельно: в Вебмастере на странице «Оптимизация сайта» - «Безопасность и нарушения».
• Квот на число страниц в индексе нет. Любое количество страниц, которые алгоритм признает полезными пользователям, будет проиндексировано.
• Количество исключённых страниц в Вебмастере, по справке, не должно влиять на положение сайта в результатах поиска.

Если вы видите это сообщение по одной-двум служебным страницам, тревожиться не о чем. Повод разобраться появляется, когда в списке оказались страницы, которые вам важны: услуги, категории каталога, статьи.

Где увидеть этот статус в Яндекс Вебмастере

1. Откройте Яндекс Вебмастер (сервис Яндекса для владельцев сайтов) и выберите сайт.
2. Перейдите в «Индексирование» - «Страницы в поиске».
3. Переключите список в положение «Исключённые страницы».
4. Найдите статус «Малоценная или маловостребованная страница». В списке видны дата последнего посещения страницы роботом, адрес страницы и причина исключения.

В списке показывается до 50 000 страниц. Данные можно выгрузить в файл: там этот статус записан как LOW_DEMAND. Если сайт большой, выгрузка и фильтры помогут быстро отделить нужные страницы от служебных. О том, как проверить индексацию в целом, читайте в статье про проверку индексации сайта и страницы: здесь разбираем только этот статус.

Чтобы следить за конкретными важными страницами, добавьте их в «Мониторинг важных страниц». Там виден статус страницы в поиске, а по значку с тремя точками рядом можно узнать причину исключения и что делать. Для уведомлений об изменениях настройте уведомления в Вебмастере.

Малоценная и маловостребованная: в чём разница

Справка делит такие страницы на два типа. Статус в списке для обоих один, поэтому причину приходится определять самим.

Справка добавляет оговорку: решение алгоритма по каждой странице принимается с учётом очень многих факторов. Если две страницы очень похожи, у одной статус может быть, а у другой нет. Возможно, обе отвечают на один и тот же запрос, и алгоритм оставил в поиске ту, которую считает более релевантной.

Как разобраться по шагам

Порядок ниже собран из справок Яндекса о малоценных страницах и об исключённых страницах. Сами шаги и их последовательность - рекомендация автора на основе этих справок.

1. Выгрузите список и разделите страницы на группы. Выделите страницы, которые нужны в поиске (услуги, категории, статьи, карточки, которые приносят заказы), и те, которые не нужны (фильтры, сортировки, технические страницы, копии).
2. Для ненужных страниц решите, как их закрыть. Подробности - в разделе ниже. Дальше эти страницы можно в список проблем не включать.
3. Для нужных страниц посмотрите, что видит робот. Откройте страницу в инструменте «Проверка ответа сервера» в Вебмастере. Справка Яндекса советует проверить HTML-код в том виде, в каком его получает робот. Если важного текста там нет, а в браузере он есть, то, скорее всего, его подгружает скрипт.
4. Убедитесь, что важный контент не спрятан. Справка называет три случая: контент подан изображением, выводится JS-скриптами или выводится через iframe (встроенный в страницу блок с другой страницей). Название и описание услуги, ценовая таблица, основной текст должны лежать в самом HTML.
5. Проверьте title, H1 и H2. Справка о малоценных страницах просит проверить, верны ли заголовки и хорошо ли они описывают содержимое. В справке об исключённых страницах отдельно упомянуты автоматически создаваемые title и description, которые повторяют друг друга. Как их писать, разобрано в статьях про title и description и заголовки H1-H6.
6. Сравните страницу с соседями. Поищите на сайте страницы, которые отвечают на тот же запрос. Если их несколько, объедините содержимое в одну страницу, а остальные закройте или перенаправьте на неё (рекомендация автора; справка лишь отмечает, что из похожих страниц алгоритм может оставить в поиске одну). О том, как находить и убирать дубли, читайте в статье про дубли страниц.
7. Для страниц без спроса поищите, о чём на самом деле спрашивают. Справка предлагает встать на место посетителей и подобрать формулировки в Вордстате («Подбор слов»), а в Вебмастере посмотреть «Статистику поисковых запросов» и «Управление группами». Как собирать запросы системно, разобрано в статье про семантическое ядро.
8. Внесите правки и отправьте страницу на переобход (так вы просите робота повторно посетить страницу). В Вебмастере: «Индексирование» - «Переобход страниц». Дальше ждите: данные обновляются не сразу.

Какие страницы чаще всего попадают в этот список

Яндекс в справке «Почему страницы исключены из поиска» называет несколько типичных случаев:

• карточки практически одинаковых товаров, которые различаются только цветом, размером или конфигурацией;
• страницы пагинации (постраничного списка товаров или записей), подбора товара и сравнений;
• страницы-картинки, на которых совсем нет текстового контента.

В той же справке сказано, что алгоритм проверяет не только наличие title, description и других тегов, но и уникальность, полноту материала, его востребованность и актуальность. Поэтому страница с аккуратно заполненными метатегами тоже может получить этот статус. Там же дан пример: description и title могут создаваться автоматически и повторять друг друга, и на это стоит обратить внимание.

Что делать с ненужными страницами

Если страница не представляет ценности для поиска, Яндекс рекомендует закрыть её от индексации. Способ зависит от причины:

Две оговорки из справки стоит знать заранее.

Исключённая страница остаётся доступной. Если страница исключена как маловостребованная, она открыта для робота и может участвовать в поиске: бывают случаи, когда алгоритм включает такие ссылки в выдачу. Если вы уверены, что страница не нужна в поиске, лучше явно запретить её индексирование, а не рассчитывать на статус.

Закрытые страницы могут числиться в списке ещё долго. Если страница раньше была доступна, отвечала кодом 200 и была проиндексирована, а теперь у неё код ответа 403 или 404 либо noindex, но она всё равно значится маловостребованной, причина в том, что алгоритм не индексирует её заново, а проверяет контент, который есть в базе. Список обновится после повторного посещения роботом. Ускорить процесс можно, запретив такие страницы в robots.txt: по справке, ссылки пропадут из базы в течение двух недель. Если запретить в robots.txt нельзя, у Яндекса есть отдельная инструкция по удалению страниц из поиска.

Что делать с нужными страницами

Статус меняется после того, как страница становится полезнее для читателей, а не после повторной отправки (вывод автора). Что советует справка Яндекса и что добавляем от себя:

• Если контент не виден роботу - вынесите его в HTML: текст должен быть текстом, а не картинкой, и не зависеть от скрипта или iframe.
• Если страница дублирует другую - решите, какая из двух главная, и закройте дубль способами из раздела выше. Объединить или развести страницы по смыслу - рекомендация автора.
• Если контент есть, но спроса нет - измените контент так, чтобы он лучше соответствовал интересам пользователей: тему, заголовки, содержание. Яндекс предлагает искать формулировки в Вордстате (сервис Яндекса со статистикой поисковых запросов) и в статистике запросов Вебмастера.

От себя добавим два практических замечания (рекомендации автора, не требования Яндекса). Первое: не добавляйте текст ради объёма. Яндекс относит добавление предложений ради увеличения объёма без смысловой нагрузки к признакам малополезного контента, а в вопросах для самопроверки Google на вопрос о статьях «оптимальной» длины дан ответ «это не так». Второе: не заменяйте содержание повтором запроса. Что считают нарушением при работе с текстом, разобрано в статье про переспам текста.

Пример разбора на каталоге

Пример составлен автором для иллюстрации, это не реальный проект. Допустим, в интернет-магазине куртка продаётся в семи размерах, и у каждого размера своя страница с одним и тем же описанием, отличается только строка «Размер: 48». В «Исключённых страницах» большинство таких карточек имеют статус «малоценная или маловостребованная».

1. Группа страниц однотипная, значит, причина, вероятно, в похожести (это вывод автора по описанию в справке про почти одинаковые товары).
2. Нужной считаем одну страницу на модель: в ней размеры выбираются на странице, а не в адресе. Остальные закрываем: на каждой размерной странице указываем rel="canonical" на страницу модели либо настраиваем редирект 301.
3. На странице модели проверяем в «Проверке ответа сервера», что описание, цена и таблица размеров есть в HTML, а не подгружаются скриптом после открытия страницы.
4. Дописываем то, чего в карточке не было: как подобрать размер, из какого материала куртка, для какой погоды. Темы берём из статистики запросов в Вебмастере.
5. Отправляем страницу модели на переобход и через пару недель смотрим список снова.

Результат заранее не гарантирован: решение принимает алгоритм, а цель правок - дать странице то, ради чего её стоит показывать.

Как долго ждать результата

Сроки в справках Яндекса такие:

• заявка на переобход: статус «В очереди» означает, что робот посетит страницу в приоритетном порядке, не более трёх дней, обычно быстрее; статус «Заявка обработана» означает, что робот посетил страницу, а данные обновятся в течение двух недель. Этот статус не говорит, что страница проиндексирована: если она закрыта от индексации, в поиск она не попадёт;
• исключённая страница: робот продолжает её посещать, а перед каждым обновлением поисковой базы алгоритм заново оценивает вероятность её показа; страница может появиться в поиске в течение двух недель после того, как робот узнает об изменении.

Число страниц, которые можно отправить на переобход, ограничено, лимит обновляется ежедневно. Для регулярной передачи большого числа страниц справка рекомендует инструмент «Обход по счётчикам». Отправлять всё подряд, по мнению автора, смысла не имеет: сначала исправьте причину, потом отправьте самые важные страницы.

Как это выглядит в Google

Google не использует термин «малоценная страница» в проверенном отчёте об индексировании страниц в Search Console. Ближайшие по смыслу статусы в разделе «Не проиндексировано»:

В проверенном описании этих двух статусов Google не называет критерий востребованности и не даёт перечня причин, как это делает Яндекс (вывод по тексту справки). Общего с Яндексом больше, чем различий (вывод автора): Google тоже пишет, что в индекс должны попасть не все страницы сайта, а только канонические, и что нормально не индексировать страницы, добавление которых он считает неоправданным (например, одинаковые страницы с разными фильтрами). Контент нужно делать для людей: среди вопросов для самопроверки Google есть вопрос, пишете ли вы статьи определённой длины, потому что слышали, что она оптимальна (ответ в документе: это не так).

Для проверки в Google используйте отчёт об индексировании страниц и инструмент проверки URL. Общий порядок проверки описан в статье про индексацию в Яндексе и Google.

Частые ошибки

• Считать статус наказанием. Яндекс прямо пишет, что такие страницы не означают нарушений. Нарушения смотрите в «Безопасности и нарушениях».
• Отправлять все страницы на переобход подряд. Число заявок ограничено, а статус «Заявка обработана» не гарантирует включения в поиск.
• Закрывать от индексации страницы, которые вам нужны. Исключения в списке могут быть и результатом вашего же Disallow или noindex. Проверьте, что такие директивы закрывают только служебные и дублирующие страницы.
• Пытаться «вылечить» страницу, ничего не меняя в содержании. Алгоритм, по справке, оценивает уникальность, полноту, востребованность и актуальность материала, а не только теги. Одной правкой метатегов или повторной отправкой на переобход, скорее всего, не обойтись (вывод автора).
• Дописывать текст ради объёма. Это не отвечает на вопрос, зачем страница нужна читателю.
• Не смотреть в «Проверку ответа сервера». Робот получает ответ сервера, который может отличаться от того, что вы видите в браузере: служебные HTTP-заголовки запроса у робота и у браузера разные.

Когда проблема не в этом

• Страницы нет в списке исключённых и её нет в поиске: сначала проверьте, не закрыта ли она и знает ли о ней робот (инструмент «Анализ индексации страницы» и статья про проверку индексации).
• Позиции упали, а страницы в поиске на месте: статус не при чём, причины ищите в общей картине сайта; начните со статьи про SEO-продвижение.
• В Вебмастере есть сообщение о нарушении: это другой случай, и порядок действий тоже другой (пример - переспам текста).

О Head Promo

Общую картину работ над сайтом описывает обзор SEO-продвижения сайта. Head Promo - агентство поискового маркетинга. Подробнее об услуге - на странице SEO-продвижения на нашем сайте.

Частые вопросы