Robots txt для wordpress в плагине All in One SEO

Эта статья поможет вам создать и изменить файл robots txt для wordpress с помощью плагина All in One SEO

По умолчанию WordPress создаёт динамический файл роботс тхт, а модуль «инструмент» в плагине All in One SEO позволяет создавать, управлять этим файлом и менять значение по умолчанию.

Генерируя динамический robots.txt файл с помощью All in One SEO, как и WordPress вы создадите инструкции поисковикам о сайте. При этой настройке на сервере отсутствует статический файл robots.txt, а динамический хранится в базе данных WordPress и отображается в веб-браузере по адресу https://ваш сайт/robots.txt.

Чтобы начать работу в меню All in One SEO, нажмите на «Инструменты» и в редакторе включите ползунок «пользовательский robots.txt», при этом добавятся правила WordPress по умолчанию.

Если вы решите изменить правила, добавленные по умолчанию, то вам можно будет создать файл robots.txt в корневой папке WordPress с добавлением собственных правил.

Как это делается, мы рассмотрим далее в статье.

Пользовательские правила robots txt для wordpress

При создании пользовательского правила я придерживаюсь директивы User-agent от Яндекс. Например, боты Яндекс руководствуются правилами User-agent: Yandex и User-agent: * и запись User-agent: Yandex при этом в приоритете перед записью User-agent: *. Можно понимать так, если даны указания роботам Яндекс, то будет использоваться директива User-agent: Yandex, а User-agent: * будет игнорироваться.

Например, на моих сайтах robots.txt настроен таким образом (см. ниже), а вы можете настроить по своим предпочтениям, главное — не закрыть нужные для индексации файлы.

Если нет никаких записей, то считается, что роботам нет ограничений для этого сайта.

Правила роботс.тхт на моих сайтах для wordpress

📝 Оптимизированный код robots.txt для вашего сайта на Вордпресс на 2025 год.

Ниже представлен полный текст файла. Вы можете скопировать его и заменить на содержимое вашего файла robots.txt.

User-agent: *                    # Применяется ко всем поисковым роботам (Googlebot, YandexBot и др.)
Disallow: /wp-admin/             # Полная блокировка доступа к админ-панели WordPress. Критично для безопасности.
Allow: /wp-admin/admin-ajax.php  # Исключение: разрешаем доступ к AJAX-обработчику, необходимому для работы фронтенда.
Disallow: /?s=                   # Блокировка URL-адресов результатов внутреннего поиска сайта. Важно для SEO.
Disallow: /page/*/?s=            # Блокировка тех же результатов на страницах пагинации (например, page/2/?s=)
Disallow: /search/               # Блокировка возможного отдельного пути для страниц поиска (/search/query).
Disallow: /cgi-bin/              # Блокировка старого системного каталога, обычно неиспользуемого.
Disallow: /wp-includes/          # Блокировка системных файлов ядра WordPress (скрипты, стили, библиотеки).
Disallow: /wp-json/              # Закрытие REST API WordPress от индексации (может быть открыт для авторизованных запросов).
Disallow: /xmlrpc.php            # Блокировка устаревшего интерфейса XML-RPC. Убирает вектор для атак.
Disallow: /*?*                   # Блокировка ВСЕХ URL с любыми параметрами запроса (?xxx). ВНИМАНИЕ: Может быть слишком агрессивным!
Allow: /wp-content/uploads/      # Явное разрешение на индексацию медиафайлов (изображений, PDF). Критично важно для SEO.

# Добавил еще в робот тхт такие параметры URL

User-agent: Yandex  # Специальные инструкции только для робота Яндекса 
Clean-param: customize_changeset_uuid&customize_messenger_channel&customize_theme&customize_autosaved # Служебные параметры моего сайта на WordPress взятые в Яндекс.Метрики (не влияют на контент)
Clean-param: ysclid&utm_source&utm_medium&utm_campaign&utm_content&utm_term&fbclid&gclid # Общие рекламные и аналитические метки (UTM, клики из соцсетей и рекламы)  
                   
Sitemap:       # site.ru поменяйте на свой

В таблице ниже перечислены примеры общих параметров и поясняется их происхождение:

| Параметр | Поддержка Яндекса | Для чего используется |

Профилактика: Страницы с этими параметрами могут появиться в индексе позже. Правило заранее укажет роботу, как с ними работать, не дожидаясь проблем.
Экономия краулингового бюджета: Вы прямо говорите роботу Яндекса не тратить время на сканирование сотен вариаций одной страницы с разными метками. Это повышает эффективность обхода сайта.

Итак, при нажатии кнопки «Добавить правило» у вас выйдет примерно такой роботс по умолчанию от Вордпресс (см. фото).

Как говорилось выше в статье мы создадим свой статический файл robots.txt и сделаем его динамическим с помощью SEO плагина и бесплатного FTP-клиента FileZilla. Скачайте и установите на компьютер, кстати, отличная программа для работы с сайтами.

Через программу FTP-клиент открываем корневую папку на сервере своего хостинга.

Далее создается новый пустой файл с названием robots.txt.

Выделяете созданный файл мышкой, нажимаете на Просмотр/Правка и открываете файл редактором Notepad++. Здесь прописываете директивы, которые должны работать, как часы без ошибок на вашем сайте.

Затем прописываете свой роботс.тхт и нажимаете сохранить.

Далее нужно зайти в админку Вордпресс и в плагине Aloseo открыть модуль Инструменты и, тут нажать кнопку Импорт и Удаление.

После этого создается динамический роботс.тхт, который можно здесь редактировать, удалять и добавлять другие правела.

В инструментах ВебМастер.Яндекс нужно проверить результаты анализа robots.txt.

Вот и всё, остаётся ждать, когда изменения роботс.тхт вступят в силу, на это может уйти 2-3 недели или больше и поэтому отнеситесь к его составлению серьёзно. Через пару дней после настройки плагина в All in One SEO проверьте соответствие кодов ответа в панели ВебМастер Яндекс → Статистика обход → Все страницы.

P.S. Сейчас на 2025 год в самом редакторе плагина All in One SEO — Инструменты — robots.txt появилась кнопка «Импорт». Импортируете из URL robots.txt либо копируете готовый текст из редактора Notepad++, что очень удобно. Нужно в начале добавить правило «запретить» в свой файл robots.txt, чтобы предотвратить просмотр URL-адресов, таких как ?s= , /search/ и /page/*/?s=. включив кнопку Блокируйте обход URL-адресов для внутреннего поиска по сайту. Затем импортировать роботс тхт — исправить ошибки и сохранить.

Удачи вам и всего хорошего! До скорых встреч на страницах блога WebMacter.ru.