Технический аудит сайта: что проверять и в каком порядке

Коротко

Что входит в технический аудит и что не входит

Технический аудит проверяет условия, при которых страница вообще может попасть в поиск: открывается ли сайт, что отвечает сервер, что разрешено роботу, какие адреса считаются главными, какие страницы в индексе и почему часть исключена. Это первый слой работы с сайтом: пока он не пройден, остальное работает вхолостую (вывод автора).

За рамками остаются вопросы, которые решают другие виды анализа: какие запросы собирать для сайта, чем наполнить страницы, у кого брать ссылки, как устроена конкуренция. О том, из чего состоит продвижение сайта и с чего его начинать, рассказывает обзор SEO-продвижения, а сбор запросов разобран в статье про семантическое ядро. Ниже маршрут проверки: что открыть, на что смотреть и какое замечание чинить первым. Подробности по каждому элементу собраны в отдельных статьях блога.

Аудит находит технические препятствия; позиции и рост трафика после их устранения не обещает никто.

Что подготовить до начала аудита

1. Доступы к кабинетам. Яндекс Вебмастер и Google Search Console. Без подтверждённых прав на сайт почти все отчёты, о которых речь ниже, недоступны. Как подтвердить права, объясняет справка Яндекса.
2. Список типов страниц. Главная, раздел, карточка товара или услуги, статья, служебные страницы. Для каждого типа возьмите один-два адреса: большинство проблем повторяется по шаблону, и проверка по образцам быстрее, чем по всему сайту (рекомендация автора).
3. Таблица для находок. Образец в разделе «Как записать находки аудита: шаблон таблицы» ниже. Заводите её сразу: когда замечаний десятки, по памяти их не удержать.
4. Командная строка или любой сервис проверки кода ответа. Понадобится для двух-трёх быстрых проверок без кабинетов.

Данные в кабинетах накапливаются со временем. Если сайт добавлен недавно, часть отчётов будет пустой или неполной: это не значит, что проблем нет (вывод автора).

Как устроена Диагностика сайта в Яндекс Вебмастере

В Вебмастере откройте «Оптимизация сайта», затем «Диагностика сайта». В разделе три вкладки: «Ошибки», «Рекомендации» и «Самостоятельные проверки». Справка Яндекса сообщает, что алгоритмы проверяют сайт ежедневно, а об изменениях сообщают в уведомлениях и на странице «Мои сайты».

Замечания делятся по тяжести:

• Ошибки могут привести к тому, что страницы или весь сайт пропадут из результатов поиска либо замедлится индексирование. В справке названы семь категорий: главная страница возвращает ошибку, ошибка DNS, сайт закрыт для индексирования в robots.txt, нарушения или проблемы с безопасностью, долгий ответ сервера (больше трёх секунд), некорректная настройка SSL-сертификата, дубли страниц с GET-параметрами.
• Рекомендации помогают улучшить видимость сайта, их 13. Шесть касаются поддоменов в поиске, региона (не задан, нет регионов в Яндекс Бизнесе), favicon (нет или недоступна) и оптимизации для мобильных устройств. Остальные семь: нет файла robots.txt, ошибки в robots.txt, нет используемых файлов Sitemap, ошибки в Sitemap, некорректный ответ для несуществующих страниц, нет title и description, одинаковые title и description.
• Самым критичным типом проблем справка называет нарушения и проблемы с безопасностью.

После исправления на странице проблемы есть кнопка «Я всё исправил», а для нарушений используется отдельная пара: «Нарушение исправлено» и «Отправить на проверку». Обновление информации на странице занимает несколько дней, и, по справке, это не влияет на индексирование. Если нарушение найдено повторно, сообщить об устранении можно только через 30 дней.

Диагностика показывает только то, что алгоритм Яндекса проверяет сам, и ничего не знает о приоритетах вашего бизнеса: полного аудита она не заменяет (вывод автора). В Search Console единого экрана с ошибками нет, там отчёты приходится открывать по очереди. Поэтому ниже десять шагов, а Диагностика служит быстрым первым срезом.

Карта проверок: что, где и в какой статье подробно

Таблица собрана по справкам Яндекса и Google. Пути в меню Вебмастера даны так, как они названы в справке. В живом интерфейсе названия могут отличаться, а для части разделов справка путь не называет.

Шаг 1. Нарушения и безопасность

Что проверять. Есть ли у сайта нарушения или проблемы с безопасностью. Для Яндекса это раздел «Безопасность и нарушения»: в справке перечислено девять видов, среди них использование SEO-текстов, неожиданное перенаправление, мимикрия, клоакинг, нежелательное программное обеспечение, социальная инженерия, малополезный контент и имитация действий пользователей. У Google это два отдельных отчёта: «Проблемы безопасности» (взломанный контент, вредоносное и нежелательное ПО, социальная инженерия) и «Меры, принятые вручную».

Почему первым. Яндекс называет эту группу самым критичным типом проблем. Если здесь что-то есть, остальные замечания отходят на второй план (рекомендация автора на основе справки).

Что делать с находкой. У Яндекса порядок такой: устранить нарушение, отметить «Нарушение исправлено» и нажать «Отправить на проверку». Справка называет срок проверки в пределах 30 дней. Google пишет о повторной проверке, которая обычно занимает несколько дней или недель. Если найден переспам, читайте отдельную статью про переспам текста.

Шаг 2. Доступность сервера и коды ответа

Что проверять. Открывается ли главная страница, какие коды ответа отдают основные типы страниц, нет ли долгих ответов, действует ли SSL-сертификат.

Где смотреть в Яндексе. «Индексирование», «Проверка страницы» и «Инструменты», «Проверка ответа сервера». По справке, код ответа 200 означает, что на момент проверки всё в порядке. У инструмента есть ограничения: ответ должен прийти за три секунды, максимальный объём страницы 10 МБ. Инструмент обращается к сайту с другого IP-адреса, поэтому то, что получает робот, надёжнее сверять с логами сервера. В Диагностике на ту же тему названы ошибки: главная возвращает ошибку, не удалось подключиться из-за ошибки DNS, долгий ответ сервера, некорректный SSL.

Где смотреть в Google. Инструмент проверки URL и отчёт «Статистика сканирования» (в справке путь указан как «Настройки», «Статистика сканирования»). Документ Google о кодах ответа предупреждает: статус 2xx ещё не означает успешного индексирования. Пустая страница или сообщение об ошибке при коде 200 приводят к ошибке soft 404. Ошибки 5xx и ответ 429 заставляют робота временно замедлять сканирование.

Быстрая проверка без кабинетов. Две команды ниже показывают код ответа главной страницы и страницы, которой заведомо нет. Замените example.com на свой домен. В Windows PowerShell пишите curl.exe вместо curl.

curl -I https://example.com/
curl -I https://example.com/kugbkkrfck

Первая строка ответа покажет код. Для главной ожидается 200, для выдуманного адреса - код 4xx. Такой адрес из случайных букв Яндекс предлагает вводить в инструменте «Проверка страницы», чтобы узнать, что отдаёт сайт для несуществующих страниц. Для них Яндекс советует любой код 4xx, кроме 429, и не рекомендует коды 429 и 5xx.

Если выдуманный адрес отвечает кодом 200, Яндекс считает такие страницы существующими и индексирует их, а сами страницы могут дублироваться; подробнее об этом в статье про страницы 404 и неработающие ссылки. Некоторые серверы отвечают на запрос заголовков иначе, чем на обычный запрос страницы (вывод автора), поэтому при сомнениях проверьте тот же адрес в инструменте «Проверка страницы».

Шаг 3. Главный адрес, HTTPS и редиректы

Что проверять. Какие версии адреса открываются (с www и без, HTTP и HTTPS) и ведут ли они на одну главную версию.

Как это устроено в Яндексе. По справке, робот изначально воспринимает версии адреса с www и без, а также HTTP и HTTPS как отдельные сайты. Главный адрес участвует в ранжировании и показывается пользователям. Посмотреть его можно на странице «Мои сайты»: в группе адресов первым стоит главный. Сменить его можно инструментом «Переезд сайта». Если робот выбрал главный адрес автоматически, например не смог соединиться с сайтом, а нужный адрес снова доступен, справка называет срок возврата в поиск: одно-два обновления поисковой базы.

Как это видит Google. Отдельного инструмента выбора главного зеркала в проверенных справках Google нет, выбор описан через canonical и редиректы. В отчёте об использовании HTTPS Google считает желательным отсутствие адресов с протоколом HTTP; там перечислены такие причины проблем: HTTP-версия с canonical, недействительный сертификат, адреса HTTP в карте сайта, редирект с HTTPS на HTTP.

Что смотреть на практике. Откройте четыре версии главной страницы: с www и без, HTTP и HTTPS. Три из них должны привести пользователя на четвёртую, главную, через постоянный редирект (рекомендация автора). Яндекс называет постоянными коды 301 и 308, временными 302, 303 и 307. Как выбирать код и не запутаться в цепочках, подробно в статье про редиректы 301 и 302. Пошаговый переезд на HTTPS в эту статью не входит.

Шаг 4. Файл robots.txt

Что проверять. Существует ли файл, открывается ли он по адресу в корне сайта, нет ли в нём правил, которые закрывают нужное.

В Яндексе. «Инструменты», «Анализ robots.txt»: две вкладки, «Правила обхода» и «Ошибки», и раздел для проверки конкретных адресов. Вебмастер хранит версии файла за последние шесть месяцев, но не больше 100. Требования из справки: размер файла не больше 500 КБ, он лежит в корне сайта и отвечает кодом 200. Если файл не соответствует требованиям, сайт считается открытым для индексирования. В Диагностике есть ошибка «Сайт закрыт для индексирования в файле robots.txt» и рекомендации «Не найден файл robots.txt» и «Обнаружены ошибки в файле robots.txt».

В Google. В Search Console есть отдельный отчёт о файлах robots.txt. По справке Google, robots.txt не служит способом убрать материалы из результатов поиска.

Частая путаница. Запрет в robots.txt не убирает страницу из поиска. Яндекс пишет, что ограниченные в robots.txt страницы могут участвовать в поиске, а для удаления нужен noindex, причём такие страницы нельзя закрывать в robots.txt, иначе робот не увидит запрет. Подробности и примеры в статьях про файл robots.txt и про директиву noindex.

Шаг 5. Карта сайта

Что проверять. Подключена ли карта сайта, открывается ли она, нет ли в ней адресов, которые должны быть закрыты или перенаправлены.

В Яндексе. «Индексирование», «Файлы Sitemap» и инструмент «Анализ файлов Sitemap». Требования справки: не больше 50 000 ссылок и не больше 50 МБ в несжатом виде, ответ 200, кодировка UTF-8. Статусы файлов и сроки загрузки разобраны в статье про Sitemap.xml. Попадание всех указанных в файле адресов в результаты поиска Яндекс обещать не может. В Диагностике названы рекомендации «Нет используемых роботом файлов Sitemap» и «Обнаружены ошибки в файлах Sitemap».

В Google. Лимиты те же: 50 000 адресов и 50 МБ без сжатия. Отчёт «Файлы Sitemap» в Search Console показывает отправленные файлы и ошибки.

Где системы различаются. Яндекс описывает priority как учитываемый коэффициент, Google игнорирует теги priority и changefreq. Практический вывод (рекомендация автора): подбирать эти значения смысла нет, достаточно держать в карте только нужные адреса с кодом 200. Формат файла, lastmod и подключение разобраны в статье про Sitemap.xml.

Шаг 6. Какие страницы в поиске и почему часть исключена

Что проверять. Сколько страниц в поиске, какие нужные страницы исключены и по каким причинам.

В Яндексе. «Индексирование», «Страницы в поиске» с динамикой, последними изменениями и списком страниц (до 50 000); переключатель «Исключённые страницы» показывает причину. Справка называет такие причины: малоценная или маловостребованная страница, ошибка загрузки (3XX, 4XX, 5XX), запрет в robots.txt или noindex, редирект, дубль, неканоническая страница, неглавный адрес, нарушения.

Наличие и количество исключённых страниц, по справке, не должно влиять на положение сайта в результатах поиска; квот на число страниц в индексе у Яндекса нет. Статус «малоценная или маловостребованная» выставляет алгоритм автоматически; нарушением он не считается, и это решение может измениться. Что с ним делать, объясняет статья про малоценные страницы.

Как следить за важным. Нужные адреса можно держать под наблюдением в «Мониторинге важных страниц», а исправленные страницы отправлять на «Переобход страниц». Условия и сроки обоих инструментов описаны в статье про проверку индексации.

В Google. Отчёт об индексировании страниц. Статус «Не проиндексировано» ещё не означает наличие ошибки. Перечень причин включает ошибки 5xx, блокировку в robots.txt, noindex, soft 404, «Страница просканирована, но пока не проиндексирована» и «Обнаружена, не проиндексирована». Статус конкретного адреса смотрите инструментом проверки URL. Статусы Google подробнее разобраны в той же статье.

Шаг 7. Дубли, canonical и noindex

Что проверять. Нет ли дублей: нескольких адресов с одним содержимым, указан ли основной адрес, не закрыт ли случайно noindex нужный раздел.

В Яндексе. Дубли ищут в исключённых страницах («Удалено: Дубль»). Способы устранения по справке: редирект 301, rel=canonical, запрет в robots.txt, noindex. Для адресов с параметрами в Диагностике есть ошибка «Найдены страницы-дубли с GET-параметрами»; параметры, которые не меняют содержимое, закрывают директивой Clean-param. Указание canonical Яндекс воспринимает как рекомендацию и может его проигнорировать, например, если каноническая страница недоступна или таких адресов несколько.

В Google. Справка по объединению дубликатов советует не использовать для нормализации адресов файл robots.txt. В отчёте об индексировании различаются два статуса про canonical: канонический вариант не выбран пользователем и канонические версии не совпадают. Аналога Clean-param в проверенных документах Google нет.

Что смотреть на практике. Для нескольких образцов страниц сверьте адрес в браузере с адресом, который указан в canonical, и убедитесь, что на нужных страницах нет директивы noindex. Подробнее: дубли страниц, rel=canonical, noindex.

Шаг 8. Структура, внутренние ссылки и страницы 404

Что проверять. Доходит ли робот до всех нужных страниц по ссылкам, нет ли битых ссылок и как отвечает сайт на несуществующий адрес.

В Яндексе. Раздел «Структура сайта» показывает разделы, в которых не менее 10 страниц и которые составляют более 1% всех страниц. Раздел «Неработающие ссылки» делится на внутренние, внешние и переходы по ним; по справке, для внутренних видны ссылки с ответами 4xx и 5xx, лимит до 10 000 ссылок. В справке путь в меню не назван. Для несуществующих страниц Диагностика проверяет, какой код отдаёт сайт.

В Google. Робот Google, по справке, обычно сканирует только ссылки, оформленные элементом a с атрибутом href. Отдельного отчёта о битых ссылках в проверенных справках нет, адреса с ответом 404 видны в отчёте об индексировании.

Что смотреть на практике. К важным страницам должна вести обычная ссылка из меню или раздела; поиск по сайту и скрипты в расчёт не берите (рекомендация автора). Как связывать страницы, объясняет статья про внутреннюю перелинковку, навигационную цепочку описывает статья про хлебные крошки, а правила для удалённых страниц собраны в статье про 404 и неработающие ссылки.

Шаг 9. Заголовки, описания и микроразметка

Что проверять. Есть ли у страниц title и description, не повторяются ли они, есть ли на странице H1 и совпадает ли он с содержанием (рекомендация автора), не содержит ли микроразметка ошибок.

В Яндексе. Диагностика называет две рекомендации: «Отсутствуют элемент title и метатег description» и «На страницах есть одинаковые заголовки и описания». Микроразметку проверяет валидатор: вводят адрес страницы или код и смотрят распознанные данные либо ошибки. Валидатор Яндекса проверяет и соответствие требованиям самого Яндекса. Открыть его можно в разделе «Инструменты», «Валидатор микроразметки».

В Google. Отчёт о расширенных результатах разделяет проблемы на критичные и некритичные.

Что смотреть на практике. Выберите по одной странице каждого типа и сверьте заголовок страницы, описание и H1 с её содержимым. Как писать эти поля, разобрано в статье про title и description; правила для заголовков H1-H6 собраны отдельно, а разметка, её форматы и проверка - в материале про микроразметку Schema.org.

Шаг 10. Скорость и мобильная версия

Что проверять. Как быстро отвечает сервер, как открывается сайт на телефоне, нет ли проблем с загрузкой.

В Яндексе. В Диагностике ответ сервера дольше трёх секунд считается ошибкой. Справка «Как сделать сайт быстрее» перечисляет меры (сократить число запросов, убрать блокирующие ресурсы, минифицировать код, использовать кэш и сжатие, уменьшить картинки, сократить редиректы), но числовых порогов не называет. Для измерения скорости там предложены отчёты Яндекс Метрики. Мобильную версию проверяет инструмент «Проверка мобильных страниц», а в Диагностике есть рекомендация «Сайт не оптимизирован для мобильных устройств».

В Google. Отчёт Core Web Vitals использует реальные данные пользователей и опирается на три показателя с порогами: самый большой элемент загружается быстрее 2,5 секунды, отклик на действия быстрее 200 миллисекунд, сдвиги макета меньше 0,1. Отчёт показывает данные только по индексированным адресам. Отчёт «Удобство для мобильных» и тест оптимизации для мобильных устройств (Mobile Friendly Test) закрыты 1 декабря 2023 года, поэтому инструкции, которые отправляют туда, устарели. Для индексирования и ранжирования Google использует мобильную версию сайта.

Что смотреть на практике. Откройте две-три типовые страницы на телефоне и пройдите путь пользователя: меню, поиск, форма. Если сервер отвечает медленно, это видно в Диагностике и в статистике сканирования.

Что считать критичным, а что подождёт

Справки Яндекса и Google не дают единой шкалы приоритетов, поэтому таблица ниже собрана по формулировкам справок о последствиях (рекомендация автора).

Исключённые страницы без последствий для важных адресов в первую группу не попадают.

Как записать находки аудита: шаблон таблицы

Список замечаний без приоритетов превращается в простыню, которую никто не берёт в работу. Заведите таблицу, в которой у каждой находки есть место, источник, приоритет, действие и способ проверки. Ниже условный пример: адреса и замечания выдуманы, чтобы показать формат.

Что делать после аудита

1. Исправляйте по приоритетам и партиями (рекомендация автора): сначала всё срочное, потом важное. Записывайте дату каждой правки: при большом числе изменений иначе не понять, что на что повлияло.
2. Сообщайте поисковику об исправлении. В Яндекс Вебмастере для ошибок и рекомендаций есть кнопка «Я всё исправил», для нарушений пара «Нарушение исправлено» и «Отправить на проверку». Затем дождитесь перепроверки сайта роботом.
3. Ускорьте обход изменённых страниц. Для этого есть «Переобход страниц» в Вебмастере и «Запросить индексирование» в проверке URL Google. По справке Яндекса, страница может появиться в поиске в течение двух недель после того, как робот узнает об изменении.
4. Повторяйте проверку. Диагностика Яндекса работает ежедневно и сама сообщит о новых ошибках, но полный аудит стоит повторять после крупных изменений: смены движка, редизайна, переезда на другой адрес или протокол (рекомендация автора).

Чем проверки в Яндексе и Google различаются

Частые ошибки аудита

• Считать каждый исключённый адрес ошибкой. Яндекс пишет, что их число не должно влиять на положение сайта; в Google статус «Не проиндексировано» тоже не равен ошибке. Оценивайте нужные страницы по отдельности.
• Закрывать в robots.txt то, что нужно убрать из поиска. Робот не увидит noindex, и страница может остаться в выдаче.
• Проверять только главную. Проблемы повторяются по шаблонам, поэтому берите образцы каждого типа страниц (рекомендация автора).
• Смотреть один поисковик. Для российской аудитории начинают с Яндекса (рекомендация автора), но проверять нужно обе системы: различия, как в разделе «Чем проверки в Яндексе и Google различаются», видны только при сверке.
• Принимать результат инструмента за ответ роботу. Инструмент Вебмастера «Проверка ответа сервера» использует другой IP-адрес, поэтому ответ в логах может отличаться.
• Править всё сразу. Если вы изменили десять вещей за день, позже нельзя понять, какая правка что дала (вывод автора).

Когда технический аудит не поможет

Аудит убирает препятствия, но не создаёт спрос и не пишет за вас страницы. Если страницы открываются и проиндексированы, а заявок нет, причина может лежать в запросах, содержании или конкуренции, и тогда стоит разобраться с семантическим ядром и текстами. Если часть страниц исключена как малоценная, это вопрос ценности страницы для пользователей, а не настройки сервера (см. статью про малоценные страницы).

О Head Promo

Общую картину работ над сайтом описывает обзор SEO-продвижения сайта. Head Promo - агентство поискового маркетинга. Подробнее об услуге - на странице SEO-продвижения на нашем сайте.

Частые вопросы