Почему google такой капризный?

Здравствуйте!

Скажите как мне бороться с неправильной работой гугла, если другие поисковики делают так как там указано, в файле robots.txt.

При переходе на сайт:

site.ru

моментально срабатывает редирект на страницу:

www.site.ru/index.html

в файле robots.txt указано:

allow: /index.html

а у гугла почему-то все не так, вместо одной страницы, www.site.ru/index.html, он проиндексировал аж 3 страницы:

site.ru

www.site.ru

даже, site.ru/index.php

ну ни как:

www.site.ru/index.html

Самое интересное, что те страницы, которые были в поисковой выдаче, пропали, без предупреждения, но при этом в:

google.com/webmasters

указано, что статус индекса страниц, работает успешно.

Беру и вновь принудительно индексирую через вебмастера гугла, спустя пару часов, часть страниц проиндексировано, а на следующий день они пропадают. Хотя в robots.txt не запрещена индексация сайта.

В чем может быть проблема, если с яндексом подобной проблемы не было и нет .. а в гугле уже 3-й месяц не индексируется как надо?