Создаем Robots.txt и sitemap.xml с помощью плагина All in One SEO на WordPress

rewriting Создаем Robots.txt и sitemap.xml с помощью плагина  All in One SEO на Wordpress
О важности этих файлов для индексации и раскрутки сайта много распространяться не нужно. Это фундаментальное SEO. Эти файлы лежат в корне вашего сайта и помогают поисковым роботам.

То есть, они должны там лежать. После установки WordPress эти файлы не создаются автоматически. По крайней мере у меня, после автоматической установки с панели хостинга, они не появились.

Учтите — кроме вас их туда никто не положит!

Давайте их создадим, используя специальный плагин All in One SEO. Это такой  крутой-крутой плагин, который делает кучу разных полезных  штук. В этот раз мы просто создадим файлы Robots.txt,  sitemap.xml.

Идем в раздел «Плагины» и нажимаем «Добавить новый». Затем в поле поиска пишем  All in One SEO устанавливаем и активируем.
0_19430a_4dda5659_orig Создаем Robots.txt и sitemap.xml с помощью плагина  All in One SEO на Wordpress

В боковой консоли у нас появится менюшечка All in One SEO.
0_19430b_88b7e72f_orig Создаем Robots.txt и sitemap.xml с помощью плагина  All in One SEO на Wordpress

Нажмите на «Управление модулями» и активируйте как минимум 3 из них — XML Карта сайта, Robots.txt, Редактор файлов.
0_19430c_fa18037b_orig Создаем Robots.txt и sitemap.xml с помощью плагина  All in One SEO на Wordpress

Всё, теперь можно идти создавать карту сайта в появившемся разделе  «XML карта сайта». Там можно поставить частоту обновления — если пишете по статье в день, то лучше сделать ежедневное обновление. Учтите, All in One SEO  создает карту динамическую, то есть генерирует ее на лету. Чтобы она появилась в папке на диске — уберите соответствующую галочку.

Остальные настройки лучше не трогать. Ваша карта будет   выглядеть примерно так и находиться по адресу http://site.ru/sitemap.xml

0_19430d_b4fac1a6_orig Создаем Robots.txt и sitemap.xml с помощью плагина  All in One SEO на Wordpress

Теперь идем создавать файл Robots.txt.

В этом разделе просто нажмите на Сохранить Robots.txt и он у вас появится.

0_19430e_bf1f81b4_orig Создаем Robots.txt и sitemap.xml с помощью плагина  All in One SEO на Wordpress

Но это еще не все. Надо его отредактировать по православным традициям. Для этого надо пройти в раздел «Редактор файлов» и вставить вот такой текст.
0_19430f_2d2273ad_orig Создаем Robots.txt и sitemap.xml с помощью плагина  All in One SEO на Wordpress

Сейчас я его продублирую (название сайта надо, разумеется поменять).

Sitemap: http://03text.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Crawl-delay: 1.5 # таймаут в 1.5 секунды
Host: 03text.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Crawl-delay: 1.5 # таймаут в 1.5 секунды

Этот вариант Robots.txt. для WordPress создан русским народом и специально заточен под Яндекс. Обратите внимание на параметр Crawl-delay.  Когда робот Яндекса сканирует сайт, он ведет себя как сумасшедший и это создает нагрузку на сервер. Эта директива  просит «паука» «убавить обороты».

В директиве задается команда указывает время простоя робота в секундах, для сканирования следующей страницы сайта. Паук Яндекса понимает дробные значения,  0.5 (пол секунды). Это не дает гарантии, что он будет заходить на сайт каждые полсекунды, но ускоряет обход сайта.

Утихомирить робота  Google можно через его панель вебмастера.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Отправляя комментарий вы автоматически соглашаетесь с Политикой конфиденциальности