Testeur de robots.txt

À quoi sert le robots.txt ?

Le fichier robots.txt, à la racine d'un site, indique aux robots quelles URLs ils peuvent explorer. Une erreur (un Disallow trop large) peut bloquer par accident des pages importantes, et les faire disparaître de Google.

• Vérifiez qu'une page stratégique n'est pas bloquée sans le vouloir.
• Angle GEO : de plus en plus de sites bloquent les robots d'IA (GPTBot, ClaudeBot). Testez si c'est votre cas, volontaire ou non.
• Le robots.txt n'empêche pas l'indexation d'une URL déjà connue : pour ça, utilisez la balise noindex (vérifiable avec l'extracteur de balises).