Robots.txt для WordPress.

Опубликовал Санёк. января 16, 2022

Как известно, поисковые системы не любят когда их забивают всяким мусором, поэтому очень важно правильно составить файл robots.txt . Поэтому предоставляю наиболее подходящий, на мой взгляд, вариант:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /xmlrpc.php
Allow: /wp-content/uploads

Следующие два параметра только для блогов с "правильными ссылками" :) "Неправильными" я считаю ссылки вида domen.ru/?page_id=34

Disallow: /*?*
Disallow: /*?

Недавно Яндекс заявил, что их робот понимает новую директиву: Crawl-delay. Она поможет в индексации сайтов, размещенных на медленных серверах. С помощью этой директивы можно выставить timeout между закачками страниц. Это может значительно ускорить обход сайта роботом. С выходом новой версии WordPress это особенно актуально, так как WP cтал значительно прожорливей, что часто замедляет работу сайта. Если вы хотите выставить timeout в 5 секунд, это должно выглядеть так:

User-agent: Yandex
Crawl-delay: 5

Думаю этого вполне достаточно. Владельцы блогов - присылайте используемые вами директории))

Проголосовать на:

Статьи по теме:

  • Услуги
  • Новый диз для блога.
  • SEO плагины Firefox: переключатель регионов.

    • Тэги: , ,

    Все о SEO

    56 комментариев на запись “Robots.txt для WordPress.”



    1. января 20, 2022

      Как ссылки сделать правильными? В админке захожу в “постоянные ссылки”, пробовал там настраивать, не получилось…

      admin Reply:
      января 20, 2022 at 11:46

      Заходите в настройки-постоянные ссылки (ЧПУ) Затем в общих настройках ставите галочку на “произвольная структура” и вписываете “/%postname%” (без кавычек).

    2. января 31, 2022

      У меня почти такой же robots, вот только комменты я разрешаю индексировать, так как много с ПС трафа именно благодаря комментам.
      А еще запрещаю xmlrpc.php:

      Disallow: /xmlrpc.php

      admin Reply:
      января 31, 2022 at 11:33

      Спасибо, внес поправки.

    3. isps
      марта 1, 2022

      У меня некоторые корневые /category/ имеют хороший PR…
      И зачем я их буду закрывать?
      Или закрыть остальные, PR не имеющие вообще?

      admin Reply:
      марта 1, 2022 at 13:46

      А зачем вам PR на категориях? Лучше направьте его на главную и на посты. К тому же закрывая такие странички как “категория” вы избавляетесь от дублей контента на вашем сайте. Поисковики очень не любят дубли, потому что это мусор. Если у вас сателлит на WP и вам не важна посещаемость, то можно оставить категории. В этом случае дубли не помеха, наоборот нужно как можно больше страниц для размещения ссылок.

    4. isps
      марта 1, 2022

      Вообще-то сателлит, но и посещаемость есть небольшая, на adsense кликают. Почему-то так получилось – фиг знает, сослался наверное кто-то…

      admin Reply:
      марта 2, 2022 at 2:25

      Ну это вам виднее. Посмотрите в статистике откуда народ идет.

    5. Bohdan
      марта 2, 2022

      Я недавно начал разбираться во всем этом. Вы мне очень помогли. Спасибо.

      admin Reply:
      марта 2, 2022 at 2:10

      Не за что))

    6. isps
      марта 2, 2022

      Да не народ идет, а PR.
      А мне он важнее, чем народ. :)

    7. марта 16, 2022

      То Element – не забудь поставить плагин RusToLat.

      admin Reply:
      марта 20, 2022 at 19:27

      Да кстати, забыл совсем…

    8. z0r
      марта 20, 2022

      Спасибо, но по комментариям не допонял

      admin Reply:
      марта 20, 2022 at 19:26

      что именно?

    9. марта 22, 2022

      Почему их стоит запретить?

      admin Reply:
      марта 22, 2022 at 19:06

      Читайте внимательней статью

    10. Dimka
      апреля 11, 2022

      Прошу прощения, а в какую директорию кидать robots.txt? =)

      admin Reply:
      апреля 12, 2022 at 0:10

      В корень сайта.

    11. Mazurbat
      мая 6, 2022

      Если дописать:
      User-agent: Yandex
      Crawl-delay: 5
      То паук яндекса будет игнорировать то, что написано в User-agent: *

      admin Reply:
      мая 6, 2022 at 23:56

      У меня все норм – ни одной левой странице в индексе нет.
      _http://tunngle-skachat.ru/robots.txt

    12. мая 15, 2022

      Если закрыли категории, тогда надо закрывать группировку по месяцам и календарь.

      admin Reply:
      мая 15, 2022 at 12:44

      Спасибо, поправлю.

    13. июня 17, 2022

      вот насчет категорий. думаю можно и не закрывать, если в шаблоне вывода постов в карегории выводить только заголовки а?
      Приме:
      seo.kg/topics/news/
      И ещё, не у всех категории называются “category”, вот у меня “topics” или “go” бывает…

      admin Reply:
      июня 17, 2022 at 2:43

      В данном примере можно и не закрывать, только так все равно никто не делает (я по крайней мере не видел). :gamer1:

    14. Ant
      июня 24, 2022

      Здравствуйте, подскажите такой робот достоен своего существования:

      User-Agent: Yandex
      Disallow: /wp-admin/
      Disallow: /wp-includes/
      Disallow: /wp-content/languages/
      Disallow: /wp-content/plugins/
      Disallow: /wp-content/upgrade/
      Disallow: /wp-content/uploads/
      Disallow: /wp-content/themes/classic/
      Disallow: /wp-content/themes/default/
      Host: domen .ru

      User-agent: *
      Disallow: /wp-admin/
      Disallow: /wp-includes/
      Disallow: /wp-content/languages/
      Disallow: /wp-content/plugins/
      Disallow: /wp-content/upgrade/
      Disallow: /wp-content/uploads/
      Disallow: /wp-content/themes/classic/
      Disallow: /wp-content/themes/default/

      Заранее благодарю!
      Всего доброго!

      admin Reply:
      июня 24, 2022 at 13:30

      Да :gamer1:

      Ant Reply:
      июня 24, 2022 at 13:36

      Спасибо, а то я уж распереживался :)

      Игорь Reply:
      июня 28, 2022 at 17:39

      Директива “Host” прописывается без “http://”

      admin Reply:
      июня 28, 2022 at 18:38

      ага, это просто двиг глючит.

    15. WWWW
      июля 27, 2022

      В Host: www-нужен

    16. foplop
      сентября 23, 2022

      http://tunngle-skachat.ru/robots.txt – лучший учебник )

      Санёк Reply:
      сентября 24, 2022 at 0:44

      )))))

    17. Самостоятельный Путешественник
      октября 2, 2022

      FА почему в Вашем файле robots.txt разрешен к индексации фидбернер?

      Allow: /feedburner-evakuiruemsya
      Allow: /tag/feedburner

      Санёк Reply:
      октября 2, 2022 at 11:15

      Allow: /feedburner-evakuiruemsya —> это статья

    18. октября 16, 2022

      Надо будет использовать, а то ошибки в вебмастер Яндексе уже задолбали

    19. Глеб
      ноября 2, 2022

      блин запретил яше к индексированию страницы вот так, а он все равно в индексе держит эти страницы, скажите я правильно же запретил их:

      User-agent: *
      Disallow: /stat*.htm

      User-agent: Yandex
      Disallow:
      Disallow: /blog/comment*.html
      Disallow: /blog/stat*.html
      Disallow: /blog/search*.html
      Host: mysite.ru

      Санёк Reply:
      ноября 2, 2022 at 22:58

      User-agent: Yandex
      Disallow: /
      Вот так надо :)

    20. Глеб
      ноября 3, 2022

      не так:

      User-agent: Yandex
      Disallow: /

      он все не будет индексировать, а мне надо чтобы указанные страницы не индексировал

      Санёк Reply:
      ноября 3, 2022 at 19:49

      Disallow: — это лишнее
      Зайди в яндекс вебмастер и проверь там, правильно ли составил robots.txt

    21. PoliteX
      ноября 9, 2022

      спасибо.
      я так понимаю ошибки пропадут после следующей индексаци?

      Санёк Reply:
      ноября 9, 2022 at 13:12

      Какие именно?

    22. января 12, 2023

      Хе-хе.. Один сайт точно Яшка принял.. Правда страничек для сапы поменьше стало, но ничего, хоть так.. Спс за инфу!

    23. января 22, 2023

      Спасибо, а то на меня начал гугл ругаться за то что я плагины удалил, а он из найти не может.
      Теперь, думаю, все ок будет.

    24. января 28, 2023

      Спасибо, полезная информация – лажу ща по всем блогам собираюсь свой идеальный роботс.тхт по крупицам) Мне кажется у тебя для юзерагента * хост лишний – его ведь только яша понимает, вроде бы.

      Санёк Reply:
      января 28, 2023 at 20:03

      не лишний

    25. января 28, 2023

      Санёк, почему не лишний?
      И еще – чем отличаются
      Disallow: /trackback
      Disallow: /feed

      от

      Disallow: */trackback
      Disallow: */feed

      Пробовал подставить /trackback для своих блогов для главной страницы, выдает 404, не совсем понятно что там запрещать.

    26. января 28, 2023

      Хотелось бы добавить, чтобы не забыли удалять

      Disallow: /*?*
      Disallow: /*?

      если меняют ссылки на “по умолчанию”

      Санёк Reply:
      января 28, 2023 at 21:00

      Это и так понятно.

    27. Санёк
      января 28, 2023

      Disallow: /trackback
      Disallow: /feed
      Запрещает tunngle-skachat.ru/trackback
      tunngle-skachat.ru/feed
      Disallow: */trackback
      Disallow: */feed
      Запрещает tunngle-skachat.ru/*всякая фигня*/trackback
      tunngle-skachat.ru/*всякая фигня*/feed

    28. января 28, 2023

      Синтаксис записи я понимаю)) Я не о том, зачем ты запрещаешь /trackback если такой страницы не существует. Потому как */trackback – понятно идет для отдельных постов.

      Санёк Reply:
      января 28, 2023 at 21:19

      а хз))) Может в индексе была. Я через роботс всякий мусор вычищал, например tunngle-skachat.ru/ddhdjjh.ru (не помню домен) Потом подправлю, спс

    29. февраля 21, 2023

      Спасибо за пост. Я как раз с robots.txt хотел разобраться на своих блогах. Наверное после того как мы все запретили то можно в конце и разрешить все остальное, что не под запретом:
      Allow: /

    30. Роман
      марта 2, 2023

      В связи с пальбой из АГСа решил подредактировать на своих сайтах robots.txt, дофига всего начитался, но так и не понял, зачем прописывать отдельные правила для яндекса?
      И нафига прописывать директорию Host?

      Санёк Reply:
      марта 3, 2023 at 2:27

      Отдельные правила для Яндекса, потому что Яндекс тупой, а директива Host для того, чтобы тупой Яндекс не склеил ваш сайт с каким-нибудь другим.

    31. Ирина
      марта 9, 2023

      А ошибки пропадут, из панели вебмастеров, после того как запретить индексировать, а то у меня ошибка 500 на некоторых висит и никак не убирается? *UNKNOWN*

    Оставить комментарий

    • Управление

    • Топ комментаторов

      • Сапёр (14)
      • Seo4ip (7)
      • Дмитрий (6)
      • Кирилл (4)
      • Лена (4)