Раздаем правильный файл Robots.txt для WordPress

Одним из самых важных моментов SEO оптимизации любого сайта, есть правильно созданный файл robots.txt. Этот файл помогает поисковым роботам разобраться в структуре вашего сайта и правильно расставить приоритеты в его сканировании. С ним поисковик будет знать, на что ставить акцент и что выделать при поисковой выдаче, а на что вовсе не нужно обращать внимание и как-то его учитывать.

Очень важно не просто иметь для галочки файл robots.txt у себя, а правильно прописать все настройки конкретно под вашу систему. Ведь если он сделан неправильно, это может не только повысить нагрузку на ваш сайт со стороны поисковых роботов при сканировании, но и полностью исключить его из поисковой выдачи.

Как вы уже поняли, такой файл нам нужно создавать конкретно под движок WordPress. Просто найти какой-то готовый шаблон в интернете и использовать его у себя не разобравшись в назначении — очень глупая затея.

Поэтому, специально для вас мы подготовили Правильный файл robots.txt для движка WordPress, который вы можете скачать, загрузить на свой хостинг, внести параметры своего сайта и сразу использовать у себя.

И так, вот параметры этого файла с комментариями для наглядного просмотра.

А вот сам файл, который вы можете скачать по ссылке robots.txt

После этого файл нужно открыть через любой текстовый редактор и в самом низу вместо site.ru внести данные своего сайта. А конкретно, нужно изменить адреса XML-карт и Host сайта.

Изменяем данные сайта в файле robots.txt

1. Получить адреса XML-карт можно установив плагин Yoast SEO. После его установки и активации заходим в раздел «SEO» —> «Общие» —>«Возможности» —>«XML-карта сайта», нажимаем на иконку знака вопроса и появится ссылка «Посмотреть XML карту сайта». Нажимаем на ее и вы попадете на страницу, где и будут представлены вам адреса XML-Sitemap. Теперь нужно просто перенести их все в файл robots.txt.

Открываем XML-карту в плагине Yoast SEO

Адреса XML-Sitemap

2. Host сайта — это его адрес. Если есть https протокол, то с ним и указываем.

Вот, что у нас вышло

Готовый robots.txt

Дальше, после сохранения этих изменений, вам нужно загрузить robots.txt в корневую папку файлов сайта. Что можно сделать либо через панель управления хостингом в разделе Файлы, либо подключиться к нему через ftp-клиент (например, FileZilla).

В нашем случае, мы заходим на своем хостинге в раздел «Файловый менеджер» и загружаем этот файл в корневую папку нужного сайта.

Загрузка файла robots.txt на свой хостинг

Вот и все, вопрос с настройкой robots.txt у себя вы закрыли. Но важно понимать, что это мы дали уже готовый вариант файла который подойдет многим. Но вы можете внести какие-то изменения под свои нужды, если знаете, что вы делаете и понимаете зачем.

Да, и не забивайте, что SEO оптимизация, это далеко не моментальная вещь, и изменения файла robots.txt на уже рабочем сайте будут заметны не сразу, а только спустя несколько месяцев.

P. S. Так как этот урок создан для тех, кто не хочет во всем этом копаться, а хочет просто получить правильный файл robots.txt и внедрить его у себя. То мы еще сделали полноценный разбор, специально для читателей, которые хотят более подробно пройтись по всей структуре создания такого файла, который вы можете прочитать по ссылке ____.

Просмотров: 8 0