Страница 404 и неработающие ссылки: какой код отдавать и как исправить

Коротко

Что такое страница 404 и неработающая ссылка

Когда браузер или поисковый робот просит у сайта страницу, сервер отвечает числовым кодом. Это код ответа сервера (HTTP-статус). Код 200 значит "всё в порядке, вот страница". Код 404 значит "документа не существует" (так расшифровывает его справочник Яндекса). Страницей 404 называют то, что сайт показывает человеку в этом случае: сообщение вроде "Страница не найдена".

Неработающая (битая) ссылка - это ссылка, которая ведёт на несуществующую страницу или заканчивается ошибкой. Так её определяет справка Яндекс Вебмастера: ссылка, которая не перенаправляет на нужную страницу или ведёт к ошибке. Обычные причины: страницу удалили или переименовали, в адресе опечатка, ссылку поставили неверно.

Это проблема или норма

Короткий ответ: 404 сама по себе не поломка. Google говорит об этом прямо, Яндекс - про страницы, которых на сайте не было.

• Яндекс (справочник кодов): 404 значит, что документа нет. Если вы удалили раздел сайта, можно запретить роботу обращаться к нему в файле robots.txt (файл с правилами обхода сайта для роботов). Если такой страницы на сайте никогда не существовало, ошибку можно игнорировать: возможно, кто-то поставил некорректную ссылку на ваш сайт.
• Google (отчёт об индексации в Search Console): ответы 404 не обязательно проблема, если страница удалена без замены. В общем случае Google рекомендует исправлять только те 404, на которые вы сами ссылаетесь или которые указали в карте сайта. Если страница переехала, нужен редирект 3xx на новый адрес.

Проблема начинается, когда страница, которая должна работать, отвечает 404, когда на несуществующий адрес ведут ссылки с вашего же сайта или когда вместо удалённой страницы посетитель видит страницу без полезных ссылок.

Что должен отдавать сервер на удалённую страницу

Выбор зависит от того, что случилось со страницей.

Выбор между 410 и 404. В справочнике Яндекса 410 описан как "ресурс был окончательно удалён с сайта", и там советуют отдавать его для навсегда удалённых страниц. Google ставит 404 и 410 в одну группу с другими 4xx и обрабатывает их одинаково. Поэтому для страниц, убранных насовсем, ставьте 410, если можете настроить его отдельным правилом. Во всех остальных случаях достаточно 404. Разницы в скорости удаления справки не называют: по Яндексу, срок до недели один и тот же.

Для удобства посетителей Яндекс в справке про удаление страниц рекомендует ставить редирект 301 с удалённой страницы, а Google для переехавшей страницы советует редирект 3xx. Это относится к случаю, когда у страницы есть близкая по смыслу замена. Подробнее о выборе между 301 и 302 - в статье про редирект 301 и 302. Правила про редирект на главную в проверенных справках нет. На наш взгляд, массово отправлять на главную всё удалённое не стоит: человек, искавший статью, попадает на страницу, которая ему не отвечает. Ведите на ближайшую по смыслу страницу, а если её нет, отдавайте 404.

Роль robots.txt здесь вспомогательная. Яндекс допускает директиву Disallow для удалённых страниц, но предупреждает, что такая страница иногда может появляться в выдаче, например если на неё ведут ссылки с других сайтов. Для удалённой страницы надёжнее настроить код ответа. Как работает robots.txt, описано в статье про robots.txt.

Страница ошибки для посетителей и soft 404

Посетителю одного кода мало: ему нужна страница с понятным текстом. Оформление страницы и код ответа настраиваются отдельно: красивая страница ошибки всё равно должна отвечать кодом 404.

Если сайт показывает сообщение "страница не найдена", но сервер отвечает кодом 200, Google называет это soft 404. Определение из отчёта об индексации: страница возвращает дружелюбное сообщение "не найдено", но не код ответа 404. Google рекомендует возвращать код 404 для действительно ненайденных страниц. Бывает и обратный случай: нормальная страница с содержимым попала в soft 404. Тогда Google советует добавить на неё больше информации, чтобы стало ясно, что это не soft 404, и посмотреть, как её видит робот: в инструменте проверки URL запустите проверку и нажмите View tested page ("просмотреть проверенную страницу").

В проверенных нами справках Яндекса термина soft 404 нет. Но в справке Яндекса сказано, что несуществующие страницы должны быть недоступны или возвращать код 404. А в описании инструмента "Проверка ответа сервера" - что страница, чей ответ отличается от 200, не может участвовать в поиске. Поэтому на несуществующий адрес отвечайте именно 404.

Что положить на страницу ошибки, справки не предписывают. Наш совет: понятная фраза о том, что страницы нет; обычная шапка сайта; ссылки на главную и основные разделы; поиск по сайту, если он есть. Так человек быстро найдёт то, что искал.

Как настроить. В большинстве CMS страница 404 задаётся в настройках или в шаблоне. На своём сервере используйте директивы веб-сервера. Примеры по документации:

# nginx
error_page 404 /404.html;

# Apache
ErrorDocument 404 /404.html

Адрес в таких директивах указывайте локальным путём. Документация Apache предупреждает: если в ErrorDocument указать полный адрес с http, сервер отправит клиенту редирект, и клиент не получит исходный код ошибки. Это может запутать роботов, которые определяют живой адрес по коду ответа. В nginx запись error_page 404 =200 /empty.gif; меняет код ответа на 200: так делать не нужно. Конкретные настройки зависят от хостинга и CMS, сверьтесь с их документацией.

Проверить код ответа можно без инструментов поисковиков. В командной строке:

curl -I https://example.com/takoj-stranicy-net

В ответе первой строкой должно быть "404" (например, HTTP/1.1 404 Not Found или HTTP/2 404). Если там 200, сервер отдаёт soft 404. Яндекс Вебмастер тоже умеет проверять ответ: инструмент "Проверка ответа сервера" показывает код, с которым страница открывается роботу.

Как найти неработающие ссылки

В Яндекс Вебмастере

В Яндекс Вебмастере для этого есть раздел неработающих ссылок. В справке он описан тремя частями.

• Внутренние ссылки. Список неработающих ссылок с одних страниц вашего сайта на другие. В таблице: страница, где стоит ссылка; страница, куда она ведёт; HTTP-статус 4xx или 5xx; текст ссылки; дата обновления данных. Для одного сайта показывается до 10 000 внутренних неработающих ссылок.
• Внешние ссылки. Ссылки с других сайтов на ваши несуществующие страницы. Данных больше: адрес страницы со ссылкой, ИКС (индекс качества сайта) ресурса, дата обнаружения. Показывается до 200 000 ссылок.
• Переходы по неработающим ссылкам. Ссылки, по которым люди действительно переходят и попадают на несуществующие страницы. Списки строятся на основе обезличенных данных о переходах в Яндекс Браузере. Вкладки: внешние, внутренние и исходящие (с вашего сайта на несуществующие страницы чужих). Данные можно выгрузить в XLS или CSV.

Все списки строятся только по страницам, известным роботу Яндекса. Справка перечисляет, какие ссылки в разделе не появятся: ссылка на неглавный адрес сайта (другой протокол, с www или без), ссылка просто текстом без клика, ссылка через промежуточную страницу с редиректом, ссылка, которая появилась недавно. Если страница пропала из списка, возможно, у неё сменился HTTP-статус.

Ещё один источник - "Статистика обхода". По справке Яндекса, в ней фильтрами можно найти, например, новые страницы с ошибкой 404.

Справка Яндекса отдельно отмечает: большое число неработающих внешних ссылок в списке не влияет на состояние сайта в поиске, если вы не используете приёмы, направленные на обман поисковых систем.

В Google Search Console

В отчёте Page indexing (в русскоязычном интерфейсе название может отличаться) Google показывает непроиндексированные адреса и причины. Здесь важны две:

• Not found (404), "не найдено". Страница вернула 404, а Google узнал адрес по ссылке с другой страницы или потому, что она раньше существовала и была удалена. По справке, робот может продолжать обращаться к такому адресу какое-то время, но всё реже. Сказать Google "забудь этот адрес навсегда" нельзя. Отчёт показывает только адреса, которые отдавали 404 за последний месяц.
• Soft 404. Описана выше.

В справке Google есть вопрос "Почему Google продолжает сканировать удалённую страницу?" Ответ: Google продолжает сканировать все известные адреса, даже когда они возвращают 4xx, на случай временной ошибки. Единственное исключение - адрес с директивой noindex. Поэтому адрес в отчёте не означает, что вы допустили ошибку.

Как исправить: по шагам

1. Соберите список

   В Яндекс Вебмастере посмотрите внутренние неработающие ссылки и переходы по ним (переходы можно выгрузить в XLS или CSV). В Google Search Console откройте отчёт Page indexing и выберите причины Not found (404) и Soft 404. Для сайта на тысячи страниц начните с ссылок, на которые реально переходят люди, - это раздел "Переходы по неработающим ссылкам" в Вебмастере.

2. Решите судьбу каждого адреса

   Страница нужна и пропала по ошибке - восстановите, чтобы она отвечала 200. Страница переехала - настройте 301 на новый адрес. Страницу убрали насовсем и замены нет - оставьте 404 или 410.

3. Исправьте ссылки у источника

   В списке Вебмастера есть адрес страницы, где стоит битая ссылка. Откройте эту страницу и замените ссылку на живой адрес или уберите её. Лучше не оставлять внутренние ссылки на адреса, которые перенаправляются или отвечают 404: ссылка должна вести сразу на актуальную страницу с нужным содержимым.

4. Уберите мёртвые адреса из карты сайта

   Google рекомендует чинить 404, которые указаны в карте сайта. Поэтому оставляйте в ней только живые адреса. Подробнее: sitemap.xml.

5. Подумайте про внешние ссылки

   Если на удалённую страницу ведёт ценная ссылка с другого сайта, на наш взгляд, стоит настроить 301 на ближайшую по смыслу живую страницу. Для удобства посетителей редирект с удалённой страницы рекомендует и Яндекс. Ссылки с ошибкой в адресе можно оставить без действий.

6. Проверьте ответ сервера

   Откройте несуществующий адрес и убедитесь, что код 404, а не 200. Проверьте и исправленные адреса: страница должна отвечать 200, а переехавшая - одним редиректом 301 без цепочки переадресаций. Для проверки подойдёт curl -I или "Проверка ответа сервера" в Вебмастере.

7. Сообщите поисковикам и подождите

   Яндекс удалит страницу с кодом 404, 403 или 410 из базы в течение недели после того, как робот обнаружит ответ. Ускорить можно: инструмент "Удаление страниц из поиска" принимает до 500 адресов в сутки для подтверждённого сайта (в справке есть и вариант для сайта без подтверждения). Статус "Отклонено" появится, если у адреса нет запрета индексирования или ответ сервера отличается от 404, 403 или 410. Исправленные страницы отправляйте на переобход (повторную проверку роботом) в разделе "Индексирование" Вебмастера. Google пишет, что просить о повторном сканировании стоит, только если изменение важное, а Google не заметил его неделю или дольше.

Частые ошибки

• Страница ошибки отвечает 200. Это soft 404: Google видит сообщение об ошибке, но не видит кода ошибки.
• Все удалённые страницы одним правилом отправлены на главную. Посетитель не находит нужное, а в справках нет подтверждения, что это полезно для поиска.
• Удалённая страница закрыта только в robots.txt, а код ответа не настроен. Яндекс предупреждает, что такая страница иногда всё же появляется в выдаче, например по ссылкам с других сайтов.
• Битые внутренние ссылки "потом починим". Они остаются в Вебмастере, и посетители продолжают на них попадать.
• Реакция на каждую 404 в Search Console как на сбой. Google прямо пишет, что 404 не всегда проблема.
• Мёртвые адреса остаются в карте сайта.

С чего продолжить

Общий порядок работ над сайтом описан в обзоре SEO-продвижения. Если страница переехала, подробности про 301 и 302 - в статье про редирект 301 и 302. Как управлять обходом и не путать запрет обхода с удалением из поиска, объясняет статья про robots.txt.

О Head Promo

Head Promo - агентство поискового маркетинга. Подробнее об услуге - на странице SEO-продвижения на нашем сайте.

Частые вопросы