Вопрос по работе WebArchive. Почему нельзя смотреть сохранённые им страницы из-за файла .txt robots. Ведь они сохранены?
Сайт их зацепил и сохранил, но при заходе он сбрасывает на страницу, мол автор сайта сделал запрет включив этот "роботс", да, но речь же не о сохранении страницы сейчас, когда файл был добавлен, а о просмотре уже ранее сохранённого на период когда этого запрета не было...
По дате
По рейтингу
Мы не можем их заставить что-то нам показать, если нельзя. Помню, недавно они вынуждены были удалить данные некоторых сайтов под давлением извне. Подробностей сейчас уже не помню.
Вот здесь еще немного написано: https://ru.wikipedia.org/wiki/Архив_Интернета
"сервис удаляет материалы из публичного доступа по требованию их правообладателей, или если доступ к страницам сайтов не разрешён в файле robots.txt владельцами этих сайтов."