robots.txt: что можно закрывать, а что нельзя

Директивы и частые ошибки.

На большом портале ошибка шаблона масштабируется вместе с сайтом. Поэтому нужны контроль качества: тесты статусов, canonical, sitemap, внутренних ссылок и фактической индексации.

Симптом и причина — не одно и то же

Один и тот же внешний симптом может появляться по разным причинам. Сначала стоит записать конкретный сценарий: URL, устройство, шаг, момент появления и последние изменения.

Что проверить в первую очередь

• Сравнить количество полезных URL и технических адресов.
• Найти дубли и soft 404.
• Проверить JS rendering критического контента.
• Использовать access.log для реальной картины обхода.
• Проверить filters, search, tags, parameters и archives.

Как сузить круг причин

Техническое SEO начинается с фактов: HTTP-статус, canonical, robots, sitemap, внутренние ссылки, фактический HTML и поведение поискового робота.

Серьёзные SEO-ошибки часто выглядят как обычная разработка: 500-ответ, неправильный canonical, цепочка редиректов, пустой HTML из-за JS или тысячи параметрических дублей.

Чего я бы не делал на старте

• чинить отдельные URL вместо шаблона
• редиректить все удалённые URL на главную
• считать sitemap гарантией индексации
• менять адреса без карты редиректов

Не надо использовать robots.txt и редиректы как универсальную кнопку «починить индексацию».

Что сравнить после исправления

• crawl по логам
• индексируемые URL
• 4xx/5xx
• canonical/doubles

На большом сайте я бы искал не отдельный плохой URL, а правило или шаблон, который создаёт десятки одинаковых ошибок.