Collez le contenu de votre robots.txt et l'adresse d'une page : l'outil détermine si l'exploration est autorisée pour le robot choisi et montre la règle qui s'applique.
Fonctionne dans le navigateur — les données ne sont pas envoyées au serveurLa correspondance suit Google et Yandex : on prend le groupe du bot (ou *), puis parmi les règles applicables la plus longue l'emporte ; à longueur égale, Allow prime sur Disallow. * et $ sont pris en charge dans les chemins. Un Disallow vide signifie « tout est autorisé ».
Compte de caractères et de pixels, aperçu du snippet Google.
Fréquence des mots et expressionsTop des mots, bigrammes et trigrammes d'un texte — avec filtre de mots vides.
Générateur de robots.txtComposez votre robots.txt : règles d'interdiction et lien sitemap.
Sitemap.xml depuis une liste d'URLCollez vos adresses — obtenez le fichier de plan de site prêt à l'emploi.
Nous collectons et structurons les données de sites web : prix, produits, contacts, avis — au format voulu et à la fréquence voulue.