Разделить падение по поисковику, устройству, странице и запросу; проверить технические изменения, спрос и конкурентов.
На большом портале ошибка шаблона масштабируется вместе с сайтом. Поэтому нужны контроль качества: тесты статусов, canonical, sitemap, внутренних ссылок и фактической индексации.
Сначала зафиксировать симптом
Один и тот же внешний симптом может появляться по разным причинам. Сначала стоит записать конкретный сценарий: URL, устройство, шаг, момент появления и последние изменения.
С чего я бы начал проверку
- Проверить JS rendering критического контента.
- Проверить внутренние ссылки и глубину.
- Проверить HTTP-статусы важных URL.
- Найти дубли и soft 404.
- Проверить robots, meta robots, canonical и sitemap.
Где обычно находится причина
Техническое SEO начинается с фактов: HTTP-статус, canonical, robots, sitemap, внутренние ссылки, фактический HTML и поведение поискового робота.
Серьёзные SEO-ошибки часто выглядят как обычная разработка: 500-ответ, неправильный canonical, цепочка редиректов, пустой HTML из-за JS или тысячи параметрических дублей.
Что легко сделать хуже
- закрывать любую проблему robots.txt
- считать sitemap гарантией индексации
- чинить отдельные URL вместо шаблона
- редиректить все удалённые URL на главную
Не надо использовать robots.txt и редиректы как универсальную кнопку «починить индексацию».
Как понять, что проблема решена
- индексируемые URL
- crawl по логам
- 4xx/5xx
- canonical/doubles
На большом сайте я бы искал не отдельный плохой URL, а правило или шаблон, который создаёт десятки одинаковых ошибок.
Если проблема уже проявляется на рабочем сайте
Можно начать с диагностики текущего состояния и отделить локальный дефект от архитектурной причины.