Générateur Robots.txt

Les moteurs de recherche utilisent des robots (aussi appelés User Agent) pour crawler tes pages. Le fichier est un fichier texte qui détermine quelles parties du domaine peuvent être crawlées par un robot. En outre, le fichier robots.txt peut inclure un lien vers le sitemap.xml.

Expliquez-moi étape par étape !

L’explication suivante t’indique comment créer UNE règle. Tu peux le faire aussi souvent que tu le souhaites.
1. Saisir ’ ⁄ ’ et ajouter les URL à autoriser/bloquer par rapport au directoire racine de ton serveur OU saisis ton répertoire racine (ex : fr.ryte.com) ici et utilise les URL complètes ci-dessous (sans http ou https !) :
option A. racine : /, URL : /wiki
option B. racine : fr.ryte.com, URL : fr.ryte.com/wiki
2. Choisis les robots que tu autorises à crawler ton site.
3. Saisis les chemins auxquels tu veux garantir ou bloquer l’accès (saisir URL autorisée/bloquée).
4. Clique sur ’ Add ’ pour sauvegarder la règle.
5. Recommence à nouveau ou télécharge ton fichier robots.txt.


choisir un robot













Saisir le répertoire racine

Il y a deux façons de faire : soit tu saisis ’ ⁄ ’ et ajoute les URL autorisées/bloquées au répertoire racine de ton serveur OU tu saisis ici ton répertoire racine (ex : fr.ryte.com) et utilise les URL complètes ci-dessous.

Saisir l'URL bloquée

Saisir l'URL autorisée

Saisir le nom du sitemap

J'accepte :

Je suis conscient que j'utilise le générateur robots.txt à mes propres risques. Aucune responsabilité quant aux erreurs ou index manquant du site web ne sera assumée par Ryte

Attention : cette option autorise tous les robots à crawler chaque page de ton site web.
Clique sur personnaliser pour ajouter des règles supplémentaires.

Ryte screenshot

Suivi, analyse et optimisation de vos actifs numériques grâce à notre technologie unique