Outils SEO

Générateur de robots.txt en ligne

Composez un robots.txt correct : choisissez un mode, ajoutez des interdictions depuis les préréglages ou les vôtres, indiquez le sitemap — le fichier se construit en direct.

Fonctionne dans le navigateur — les données ne sont pas envoyées au serveur
Mode
Préréglages rapides (ajoutent des interdictions)

Le fichier se place à la racine du site : site.fr/robots.txt. Une directive Disallow vide signifie « tout est autorisé ». Clean-param n'est comprise que par Yandex, elle est donc isolée dans une section User-agent: Yandex distincte.

Besoin de données sur mesure plutôt que d'utilitaires ?

Nous collectons et structurons les données de sites web : prix, produits, contacts, avis — au format voulu et à la fréquence voulue.