Дубли страниц: как найти и убрать в Яндексе и Google

Коротко

Что считается дублем, а что нет

Яндекс определяет дубли как страницы с почти или полностью одинаковым текстовым содержимым на одном сайте по разным адресам. Классический пример из справки - главная страница, которая открывается по пяти адресам:

• https://example.com/
• https://www.example.com/
• https://example.com/index
• https://example.com/index.html
• https://example.com/?utm_source=link&utm_medium=source-example&utm_campaign=partner-offer

Робот собирает такие страницы в группу дублей и выбирает одну для показа в результатах поиска. Google делает то же: из группы одинаковых или очень похожих страниц он выбирает каноническую (основную) страницу, а остальные в выдаче не показывает.

Три уточнения, чтобы не исправлять лишнее:

• Дублями Яндекс признаёт только страницы в рамках одного сайта. Страницы на региональных поддоменах с одинаковым содержимым дублями не считаются.
• Две страницы с разным текстом, которые подходят под один запрос, - не дубли в смысле справок. Это отдельная задача (разделить запросы между страницами), и в этой статье мы её не разбираем.
• У дубля может быть естественная причина. Пример из справки Яндекса: карточка товара в интернет-магазине, которая лежит сразу в нескольких категориях.

Чем дубли мешают

Справка Яндекса называет такие последствия:

• Из результатов поиска может пропасть нужная вам страница: робот выбрал другую из группы. В некоторых случаях страницы не объединяются в группу и участвуют в поиске как разные документы, конкурируя между собой.
• Адрес документа в поиске может поменяться в зависимости от того, какая страница осталась, и это осложняет статистику в веб-аналитике.
• Робот дольше обходит сайт и тратит ресурсы на копии, поэтому данные о важных страницах медленнее попадают в поисковую базу. Кроме того, он может создавать дополнительную нагрузку на сайт.

Google перечисляет причины, по которым стоит сообщать, какая страница каноническая: показать в выдаче нужный адрес, сгруппировать сигналы (например, ссылки на разные адреса учитываются вместе, если выбран один основной), упростить статистику по контенту и сэкономить обход. При этом Google отмечает, что без указания канонического адреса он определит подходящую версию сам.

Откуда берутся дубли

Справка Яндекса называет четыре источника дублей.

• Особенности CMS: адрес со слешем на конце и без него.
• Настройки веб-сервера: доступность по HTTP и HTTPS, с префиксом www и без него.
• GET-параметры в ссылках, например метки рекламных систем.
• Размещение одной страницы в нескольких разделах сайта.

Типичные адреса дублей из справок Яндекса собраны в таблице. Пример для протокола и www - иллюстрация автора.

Как найти дубли на своём сайте

Начните с ручной проверки, затем подключите кабинеты поисковиков. Первый шаг - наша рекомендация, в справках такого сценария нет. Для шагов 2 и 3 сайт должен быть добавлен и подтверждён в Яндекс Вебмастере и Google Search Console; если кабинетов нет, ограничьтесь ручной проверкой.

1. Откройте варианты адреса вручную

   Возьмите главную и две-три ключевые страницы. Откройте каждую по вариантам из таблицы выше: с http и https, с www и без, со слешем и без, с index.php. Варианты должны вести на один основной адрес. Код ответа видно в браузере: нажмите F12, откройте вкладку «Сеть» и перезагрузите страницу; у промежуточного адреса должен быть код 301. Если страница открывается по нескольким адресам с кодом 200 и без указания основного, вы нашли потенциальный дубль. Адрес с меткой ?utm_source=test обычно открывается и по своему адресу: проверьте, что на нём указан основной адрес или метка добавлена в Clean-param.

2. Проверьте Яндекс Вебмастер

   Откройте «Индексирование» - «Страницы в поиске» - «Исключённые страницы», нажмите значок фильтра и выберите статус «Удалено: Дубль». Список можно выгрузить архивом: в файле такая страница получит статус DUPLICATE. Дубли из-за GET-параметров Яндекс показывает уведомлением в разделе «Диагностика сайта» («Оптимизация сайта»), они попадают в критичные проблемы. Одинаковые заголовки и описания смотрите в разделе «Индексирование» - «Заголовки и описания».

3. Проверьте Google Search Console

   Откройте отчёт об индексировании страниц и найдите статусы про копии (расшифровка в таблице ниже). Чтобы узнать, какую страницу Google считает канонической, откройте инструмент проверки URL и посмотрите поле «Каноническая страница, выбранная Google». Оно берётся из индекса: проверка опубликованной страницы канонический адрес не показывает.

4. Решите, какой адрес оставить

   Яндекс советует ориентироваться на удобство посетителей. Например, для раздела с похожими товарами в поиске можно оставить страницу каталога, откуда пользователь перейдёт к остальным. Если дубли ещё не склеены, учтите, по какому адресу страницы уже индексируются: так вы избежите лишней смены адреса в поиске.

Статусы, которые встречаются чаще всего:

Если вы указали каноническим один адрес, а Google выбрал другой, сравните содержимое двух страниц. По справке Google, он не выберет указанный вами адрес канонической, если тот не похож на текущую страницу. А чтобы страница не считалась копией и жила в поиске отдельно, её содержимое должно существенно отличаться от канонической.

Как убрать дубли: способ зависит от причины

Яндекс даёт отдельные рекомендации для каждого типа дубля. Google описывает общий набор способов: редирект и rel="canonical" (оба - явные признаки основного адреса) и карта сайта (менее значимый сигнал). Способы можно комбинировать, и тогда вероятность выбора нужного адреса выше.

Подробнее о каждом инструменте: как указать основной адрес через rel=canonical, как выбрать между редиректами 301 и 302 и как составить robots.txt.

Что сделать после исправления

1. Приведите в порядок внутренние ссылки

   В проверенных документах Яндекса об этом отдельно не сказано. Google просит, чтобы внутренние ссылки вели на канонические адреса, а не на копии; соблюдать это разумно и для Яндекса (по аналогии, у Яндекса не подтверждено). Проверьте меню, хлебные крошки и ссылки в тексте: общие правила в статье про внутреннюю перелинковку.

2. Не противоречьте себе

   Яндекс не учитывает канонический адрес, если их указано несколько или выстроена цепочка (подробнее - в статье про rel=canonical). Google отдельно просит не указывать разные канонические адреса разными способами: например, в карте сайта один адрес, а в атрибуте другой. Сверьте rel="canonical" с картой сайта.

3. Дождитесь обхода

   Робот узнаёт об изменениях, когда посещает сайт. По справке Яндекса, страница, которая не должна участвовать в поиске, исключается в течение трёх недель после посещения роботом; если страниц много, процесс занимает больше времени. Важные страницы можно отправить на переобход в Вебмастере: Яндекс пишет, что это ускоряет обновление данных. Для Google срок в проверенной справке не указан.

4. Проверьте результат

   В Яндекс Вебмастере смотрите «Страницы в поиске»: дубль должен получить статус исключённой страницы, а нужный адрес остаться в поиске. В Search Console сверьте статусы в отчёте об индексировании страниц и каноническую страницу в инструменте проверки URL. Как читать статусы страницы, подробно описано в статье про проверку индексации.

Когда исправление не нужно или не сработает

• Естественный дубль, который помогает посетителям (товар в двух категориях), можно оставить; мы советуем выбрать для поиска один адрес и указать его.
• Статус «Страница является копией. Канонический вариант не выбран пользователем» в Search Console ошибкой не считается: Google просто не показывает копии. Действовать нужно, если в выдаче оказалась не та страница, которую вы хотели.
• Когда rel="canonical" не сработает (разное содержимое страниц, закрытый или перенаправляющий канонический адрес), разобрано в статье про rel=canonical.
• Одинаковые заголовки и описания у страниц с разным содержимым - отдельная проблема. Яндекс предлагает разнообразить заголовки, например добавить номер страницы или характеристики товара. Подробности - в статье про title и description.

Частые ошибки

• Ошибки с rel="canonical" и robots.txt разобраны выше, в таблице и предупреждении.
• Оставлять внутренние ссылки на дубли после настройки редиректа.
• Ждать результата сразу после правки и снова менять настройки, не дождавшись переобхода.

С чего продолжить

Общую картину работ над сайтом описывает обзор SEO-продвижения сайта.

О Head Promo

Head Promo - агентство поискового маркетинга. Подробнее об услуге - на странице SEO-продвижения на нашем сайте.

Частые вопросы