Эта статья поможет вам создать и изменить файл robots txt для wordpress с помощью плагина All in One SEO…
По умолчанию WordPress создаёт динамический файл роботс тхт, а модуль «инструмент» в плагине All in One SEO позволяет создавать, управлять этим файлом и менять значение по умолчанию.
Генерируя динамический robots.txt файл с помощью All in One SEO, как и WordPress вы создадите инструкции поисковикам о сайте. При этой настройке на сервере отсутствует статический файл robots.txt, а динамический хранится в базе данных WordPress и отображается в веб-браузере по адресу https://ваш сайт/robots.txt.
Чтобы начать работу в меню All in One SEO, нажмите на «Инструменты» и в редакторе включите ползунок «пользовательский robots.txt», при этом добавятся правила WordPress по умолчанию.
Если вы решите изменить правила, добавленные по умолчанию, то вам можно будет создать файл robots.txt в корневой папке WordPress с добавлением собственных правил.
Как это делается, мы рассмотрим далее в статье…
Пользовательские правила robots txt для wordpress
При создании пользовательского правила я придерживаюсь директивы User-agent от Яндекс. Например, боты Яндекс руководствуются правилами User-agent: Yandex и User-agent: * и запись User-agent: Yandex при этом в приоритете перед записью User-agent: *. Можно понимать так, если даны указания роботам Яндекс, то будет использоваться директива User-agent: Yandex, а User-agent: * будет игнорироваться.
Например, на моих сайтах роботс.тхт настроен так (см. ниже), а вы можете настроить по своим предпочтениям.
Правила роботс.тхт на моих сайтах для wordpress
User-agent: * # Разрешается всем роботам сканировать сайт
Disallow: /wp-admin/ # Закрыли админку
Allow: /wp-admin/admin-ajax.php # Открыли аякс
Disallow: /cgi-bin # Стандартная папка на хостинге
Disallow: /wp-json # Закрыли технические файлы
Disallow: /wp-includes # Запрещено сканирование папки includes
Disallow: /wp-content/plugins # Запрещено сканирование папки plugins
Disallow: /wp-content/cache # Запрещено сканирование папки cache
Disallow: */xmlrpc.php # Запретили файл WordPress API
Disallow: /trackback/ # Закрыли трекбеки
Disallow: /ads.txt # Закрыли файл ads.txt
Disallow: /? # Закрыли все параметры запроса на главной странице сайта
Allow: /*.css # Открыл сканирование файла css в папках
Allow: /*.js # Открыл сканирование файла js в папках
Allow: *favicon.ico* # Открыл фавикон иконку
Clean-param: noamp / # Склеили страницы с GET-параметрами noamp
Sitemap: https://site.ru/sitemap.xml
Если нет никаких записей, то считается, что роботам нет ограничений для этого сайта…
Итак, при нажатии кнопки «Добавить правило» у вас выйдет примерно такой роботс по умолчанию от Вордпресс (см. фото).
Как говорилось выше в статье мы создадим свой статический файл robots.txt и сделаем его динамическим с помощью SEO плагина и бесплатного FTP-клиента FileZilla. Скачайте и установите на компьютер, кстати, отличная программа для работы с сайтами.
- Через программу FTP-клиент открываем корневую папку на сервере своего хостинга.
- Далее создается новый пустой файл с названием robots.txt.
Выделяете созданный файл мышкой, нажимаете на Просмотр/Правка и открываете файл редактором Notepad++. Здесь прописываете директивы, которые должны работать, как часы без ошибок на вашем сайте.
- Затем прописываете свой роботс.тхт и нажимаете сохранить.
Далее нужно зайти в админку Вордпресс и в плагине Aloseo открыть модуль Инструменты и, тут нажать кнопку Импорт и Удаление.
После этого создается динамический роботс.тхт, который можно здесь редактировать, удалять и добавлять другие правела.
В инструментах ВебМастер.Яндекс нужно проверить результаты анализа robots.txt…
Вот и всё, остаётся ждать, когда изменения роботс.тхт вступят в силу, на это может уйти 2-3 недели или больше и поэтому отнеситесь к его составлению серьёзно. Через пару дней после настройки плагина в All in One SEO проверьте соответствие кодов ответа в панели ВебМастер Яндекс → Статистика обход → Все страницы.