Почему сайт не находится в Яндексе: от индексации до неправильного запроса

Проверить индексацию, robots, canonical, качество страницы, соответствие запросу и региональность.

Техническое SEO контролирует путь от URL до индексируемого документа. Пока поисковая система не может стабильно обнаружить, получить, обработать и понять страницу, работа с контентом не решит фундаментальную проблему.

Я бы сразу разделил две ситуации: страница не попала в индекс или попала, но почти не показывается. Во втором случае robots и sitemap могут быть вообще ни при чём.

Сначала зафиксировать симптом

Один и тот же внешний симптом может появляться по разным причинам. Сначала стоит записать конкретный сценарий: URL, устройство, шаг, момент появления и последние изменения.

С чего я бы начал проверку

• Сравнить заявленные URL с фактическим индексом.
• Проверить JS rendering критического контента.
• Проверить правила на staging и production отдельно.
• Различать запрет обхода и запрет индексирования.
• Найти дубли и soft 404.

Где обычно находится причина

Техническое SEO начинается с фактов: HTTP-статус, canonical, robots, sitemap, внутренние ссылки, фактический HTML и поведение поискового робота.

На большом портале ошибка шаблона масштабируется вместе с сайтом. Поэтому нужны контроль качества: тесты статусов, canonical, sitemap, внутренних ссылок и фактической индексации.

Что легко сделать хуже

• чинить отдельные URL вместо шаблона
• редиректить все удалённые URL на главную
• считать sitemap гарантией индексации
• менять адреса без карты редиректов

Не надо использовать robots.txt и редиректы как универсальную кнопку «починить индексацию».

Как понять, что проблема решена

• 4xx/5xx
• индексируемые URL
• canonical/doubles
• crawl по логам

На большом сайте я бы искал не отдельный плохой URL, а правило или шаблон, который создаёт десятки одинаковых ошибок.