Ошибки в robots.txt для WordPress могут привести к потере до 30-40% краулингового бюджета из-за индексации технических страниц и дублей. Правильная настройка этого файла — это не «рекомендация», а фильтр, который отсекает мусорный трафик ботов и фокусирует внимание Google и Яндекса на конверсионных страницах.
Базовая логика и критические ошибки WP
Стандартный виртуальный robots.txt в WordPress часто избыточен или, наоборот, слишком либерален. Главная ошибка новичков — закрытие папки /wp-admin/ без учета того, что файл admin-ajax.php должен быть открыт, иначе JS-скрипты на фронтенде могут не отработать корректно, что снизит оценку PageSpeed на 5-10%.
Кейс: на интернет-магазине с 5000 товаров из-за закрытия всех параметров в URL через Disallow случайно закрыли фильтры, которые приносили 15% низкочастотного трафика. Итог — просадка позиций по узким запросам в течение 2 недель.
Экспертный вывод: используйте принцип «открыто всё, что полезно пользователю, и закрыто всё, что техническое». Не копируйте шаблоны из сети, которые закрывают /wp-content/ — это убьет индексацию CSS и JS, что критично для мобильной адаптивности.
Оптимизация краулингового бюджета: что закрывать
Для сайтов объемом от 100 страниц критически важно ограничить обход технических разделов. Обязательно закрывайте: страницы авторизации (/wp-login.php), результаты поиска (//?s=) и страницы архивов по датам. Если у вас блог на 1000+ статей, индексация ежедневных архивов создает тысячи дублей с нулевой ценностью.
- /wp-admin/ (кроме admin-ajax.php) — обязательно.
- /wp-json/ — закрывайте, если не используете Headless WP, чтобы избежать индексации API-ответов.
- /?s= и /search/ — чтобы избежать «мусорных» страниц в индексе.
Экспертный вывод: закрытие технических страниц сокращает количество запросов бота к серверу на 20-50%, что особенно заметно на дешевых shared-хостингах с лимитом по CPU.
Сравнение методов реализации: плагины vs файл
Существует два пути: создание физического файла robots.txt в корне сайта через FTP или управление через плагины (Yoast SEO, Rank Math). Плагины удобны, но создают виртуальный файл, который генерируется «на лету». Разница в скорости отклика минимальна (миллисекунды), но физический файл надежнее при сбоях PHP.
Сравнение: физический файл дает 100% контроль и исключает ошибки при обновлении плагинов. Плагины экономят время (настройка за 2 минуты), но могут добавить лишние директивы, которые вы не заметите. На крупных проектах (от 10 000 URL) я всегда внедряю физический файл.
Экспертный вывод: для малого бизнеса достаточно Rank Math, для крупных порталов — только физический файл в корне, чтобы исключить зависимость от стороннего кода.
Sitemap и специфика разных поисковиков
Директива Sitemap: в 2024 году она должна быть абсолютной ссылкой. Ошибка указания относительного пути приводит к тому, что боты Яндекса могут игнорировать карту сайта, что замедляет индексацию новых материалов с 2-3 дней до 1-2 недель.
Нюанс: Google и Яндекс по-разному интерпретируют Clean-param. Для Яндекса это способ убрать дубли в URL с параметрами, что жизненно важно для SEO-оптимизация WordPress в 2024 году, когда структура ссылок становится сложнее из-за динамического контента.
Экспертный вывод: всегда проверяйте файл через Google Search Console и Яндекс.Вебмастер. Если инструмент показывает «Ошибка в robots.txt», исправляйте немедленно, так как это может привести к полной деиндексации раздела.
Вывод
Идеальный robots.txt для WordPress — это минималистичный файл, который открывает все ресурсы для рендеринга (CSS, JS, изображения) и жестко режет технический мусор (/wp-admin, поиск, API). Начните с создания физического файла в корне сайта, пропишите доступ к admin-ajax.php и добавьте прямую ссылку на Sitemap. Избегайте тотального закрытия папок /wp-content/ и /wp-includes/, так как это прямой путь к пессимизации за некорректный рендеринг страницы.