Зачем нужен файл robots.txt? Какие у него функции и обязателен ли он?

Question

Business Information Профи (815), закрыт 12 лет назад

Answer 1

Данный файл нужен для поисковых ботов, давать или запрещать доступ к файлам или папкам.

Answer 2

А к чему он привязан? вообще то это обычный текст.

Answer 3

Виталий Гогуев Оракул (74199) 12 лет назад

Можешь стереть нафиг !