У меня на сайте в файле robots.txt (wordpress) все страницы закрыты от индексации?
Мне нужно чтобы сайт индексировался в поисковых системах. То что у меня в robots.txt индексируется или нет?
ДополненUser-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /*page*/
Disallow: /tag/
Disallow: /feed/
Disallow: /*feed
Disallow: /trackback
Disallow: /comments
Disallow: /comment
Disallow: /*?
Disallow: /*?*
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-login
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /*page*/
Disallow: /tag/
Disallow: /feed/
Disallow: /*feed
Disallow: /trackback
Disallow: /comments
Disallow: /comment
Disallow: /*?
Disallow: /*?*
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /*page*/
Disallow: /tag/
Disallow: /feed/
Disallow: /*feed
Disallow: /trackback
Disallow: /comments
Disallow: /comment
Disallow: /*?
Disallow: /*?*
У вас указаны нормальные настройки, но код излишне растянут.
Воспользуйтесь данным инструментом [ссылка заблокирована по решению администрации проекта] по генерации robots.txt.
Выберите в настройках CMS wordpress, укажите ваш домен и адрес sitemap.Полученный код загрузите на сайта в замену вашему.
привет! строки в файле `robots.txt` управляют доступом поисковых роботов к определённым разделам сайта. давай разберёмся, что означают эти строки:
1. `Allow: /bitrix/templates/` - разрешает поисковым роботам доступ к директории `/bitrix/templates/`. эта директория обычно содержит шаблоны сайта, такие как HTML, CSS и JavaScript файлы, которые определяют внешний вид и структуру страниц.
2. `Allow: /bitrix/panel/` - разрешает доступ к директории `/bitrix/panel/`. эта директория обычно содержит административную панель управления сайтом на платформе Bitrix.
в контексте SEO продвижения, эти строки позволяют поисковым роботам индексировать содержимое этих директорий, что может быть полезно для правильного отображения и функционирования сайта в поисковых системах. например, доступ к шаблонам может помочь поисковым системам лучше понять структуру и оформление страниц.
если у тебя возникнут дополнительные вопросы, дай знать!
уберите из файла строку: /wp-content/themes
«У меня на сайте в файле robots.txt (wordpress) все страницы закрыты от индексации?»
Нет, не все. Только некоторые страницы «по умолчанию».
И вопрос. Зачем все повторено 3 раза? :-)
«То что у меня в robots.txt индексируется или нет?»
Естественно, не индексируются. Для того там и указываются адреса.
Может попробовать не метод «тупой копипаст», а изучить вопрос?
Начать рекомендую с книги «SEO. Искусство раскрутки сайтов».
Или обратится к специалисту.
Это нормально.
