Почему эта директива не закрывает раздел? ВОПРОС ПРО Robots.txt
Нужно закрыть в РОБОТСЕ от индексации страницы с комментами типа
.ru/контакты/comment-page-1/#comments
.ru/контакты/comment-page-2/#comments
.ru/контакты/comment-page-3/#comments
Почему эта директива не помогает?
User-agent: *
Disallow: /comment-page
По дате
По Рейтингу
Потому что не указал, что по обе стороны адреса могут быть ещё символы
User-agent: *
Disallow: */comment-page*
Если интересно подробнее - синтаксис есть в документации:
https://developers.google.com/search/docs/advanced/robots/robots_txt#url-matching-based-on-path-values