Почему страницы сайта не индексируются: 12 причин и порядок проверки

Проверить robots/noindex, canonical, HTTP-статус, дубли, качество страницы, внутренние ссылки и рендеринг.

На большом портале ошибка шаблона масштабируется вместе с сайтом. Поэтому нужны контроль качества: тесты статусов, canonical, sitemap, внутренних ссылок и фактической индексации.

Я бы сразу разделил две ситуации: страница не попала в индекс или попала, но почти не показывается. Во втором случае robots и sitemap могут быть вообще ни при чём.

Не чинить то, что ещё не диагностировано

Один и тот же внешний симптом может появляться по разным причинам. Сначала стоит записать конкретный сценарий: URL, устройство, шаг, момент появления и последние изменения.

Первые проверки без переделки сайта

• Усилить внутренние ссылки на приоритетные страницы.
• Проверить filters, search, tags, parameters и archives.
• Найти thin/duplicate страницы, которые не должны быть отдельными сущностями.
• Сравнить количество полезных URL и технических адресов.
• Проверить фактический HTTP-статус curl/DevTools, а не текст на экране.

Что чаще оказывается источником

Техническое SEO начинается с фактов: HTTP-статус, canonical, robots, sitemap, внутренние ссылки, фактический HTML и поведение поискового робота.

Техническое SEO контролирует путь от URL до индексируемого документа. Пока поисковая система не может стабильно обнаружить, получить, обработать и понять страницу, работа с контентом не решит фундаментальную проблему.

Популярные ложные решения

• считать sitemap гарантией индексации
• редиректить все удалённые URL на главную
• игнорировать soft 404
• закрывать любую проблему robots.txt

Не надо использовать robots.txt и редиректы как универсальную кнопку «починить индексацию».

Проверка после исправления

• индексируемые URL
• 4xx/5xx
• canonical/doubles
• crawl по логам

На большом сайте я бы искал не отдельный плохой URL, а правило или шаблон, который создаёт десятки одинаковых ошибок.