Зачем нужен файл robots.txt? Какие у него функции и обязателен ли он?

Question

DmitriyM Профи (815), закрыт 15 лет назад

Answer 1

Данный файл нужен для поисковых ботов, давать или запрещать доступ к файлам или папкам.

Answer 2

А к чему он привязан? вообще то это обычный текст.

Answer 3

Виталий Гогуев Искусственный Интеллект (118037) 15 лет назад

Можешь стереть нафиг !