La justification de Google pour ne pas respecter les robots.txt.

Ce qu'il faut faire maintenant:

noindex in robots meta tags: Supported both in the HTTP response headers and in HTML, the noindex directive is the most effective way to remove URLs from the index when crawling is allowed.

Ce qui donne ça:
<meta name="robots" content="noindex"

À tester pour voir si ça fonctionne vraiment.