Стоит ли злоупотреблять "Disallow"?
При создании robots прочитал много инфы, в некоторых было сказано, что в идеале под "disallow" должно попасть все, кроме того, что видит и читает пользователь...
Правда ли это? Правильно ли я оформил?
Disallow: /tmp/
Disallow: /attachments/
Disallow: /components/
Disallow: /contacts/
Disallow: /css/
Disallow: /data/
Disallow: /fb/
Disallow: /home/
Disallow: /images/
Disallow: /includes/
Disallow: /js/
Disallow: /modules/
По дате
По рейтингу
норм. этот файл будет читать машина с вычислительной мощностью больше чем умственные способности всего твоего города, так что ей одной тысячей записей больше, одной меньше по барабану, не говоря уже об десятке строк.
А на крутость сайта относительно поисковых запросов, это как повлияет?
Видео по теме