Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

robots.txt et sitemap XML : gestion du crawl

marieweb

Bonjour à tous,

Je suis un peu perdue avec la gestion du fichier robots.txt sur ma boutique PrestaShop. Quand je génère le fichier via le BO (Paramètres de la boutique > Trafic & SEO), il inclut des directives Disallow pour des dossiers comme /themes/ ou /modules/.

Le problème, c'est que Google me remonte des erreurs d'utilisabilité mobile car il ne peut pas accéder aux fichiers CSS/JS. J'avais modifié le robots.txt manuellement pour retirer ces Disallow sur les assets, mais la dernière fois que j'ai cliqué sur le bouton "Générer le fichier robots.txt", toutes mes modifications ont été écrasées.

Comment faire pour que mon robots.txt ne bloque pas les ressources importantes (CSS/JS) et que je puisse ajouter des Disallow spécifiques (par exemple pour index.php?controller=search ou les pages de panier) sans que tout soit réinitialisé à chaque fois ? C'est un vrai casse-tête pour le SEO...

audrey_dev43

Salut @marieweb,

Je connais bien ce souci ! C'est classique sur PrestaShop, surtout sur les versions plus anciennes comme la 1.7.4.2 sur laquelle nous sommes. La régénération écrase tout, c'est pénible.

Pour les assets (CSS/JS), il faut absolument éviter de les bloquer. Google doit pouvoir les crawler pour comprendre comment ta page s'affiche. Le Disallow sur /themes/ est à proscrire. À ma connaissance, la génération native de PrestaShop 1.7.x ajoute souvent des règles trop larges. La solution, c'est de ne plus toucher au bouton de génération une fois que tu as un robots.txt propre.

sophieweb

Effectivement, @audrey_dev43 a raison. Bloquer les assets est une erreur fatale pour le référencement mobile. Google ne verra pas ton site correctement et ça impacte ton score.

@marieweb, tu utilises bien PrestaShop 1.7.4.2 ? Car la gestion du robots.txt peut varier légèrement selon les versions. Ce que je faisais sur une ancienne boutique 1.7.x, c'est de générer une fois pour avoir la base, puis d'éditer le fichier directement à la racine FTP et ensuite, NE PLUS JAMAIS CLIQUER sur le bouton de génération dans le BO. Pour les pages spécifiques (recherche, panier), tu peux ajouter tes Disallow manuellement dans ce fichier édité.

Milo

Bonjour @marieweb,

Je confirme les observations de @audrey_dev43 et @sophieweb. Le comportement que vous décrivez est typique de PrestaShop 1.7.x, y compris la version 1.7.4.2. La génération du robots.txt via le Back Office est assez basique et peut inclure des règles trop restrictives pour les assets.

Pour gérer cela correctement, voici la marche à suivre :

Générez le robots.txt une première fois via Paramètres de la boutique > Trafic & SEO > Générer le fichier robots.txt. Cela va créer un fichier de base.
NE PAS modifier ce fichier directement via FTP pour vos règles personnalisées. PrestaShop 1.7.4.2 offre une zone de texte dédiée dans la même page : Paramètres de la boutique > Trafic & SEO, sous l'intitulé "Configurer votre fichier robots.txt".

Ajoutez vos règles Disallow spécifiques (pour les pages de recherche, panier, etc.) dans cette zone de texte. Par exemple :

Disallow: /*controller=search
    Disallow: /panier
    Disallow: /commande

PrestaShop ajoutera ces règles à la fin du fichier robots.txt généré automatiquement.

En ce qui concerne les assets (CSS/JS) : Le robots.txt par défaut de PrestaShop 1.7.4.2 ne devrait pas bloquer /themes/ ou /modules/ de manière à empêcher Google d'accéder aux CSS/JS essentiels. Si c'est le cas, cela peut indiquer un souci de configuration ou un module tiers qui interfère. Assurez-vous que les lignes Disallow: /themes/ ou Disallow: /modules/ ne sont pas ajoutées par le noyau sur les chemins qui contiennent vos assets. Le plus souvent, il s'agit de Disallow sur des chemins spécifiques (comme /modules/nom_module/ ou /themes/classic/cache/) qui peuvent être mal interprétés. La bonne pratique est de s'assurer que /themes/classic/assets/css/ et /themes/classic/assets/js/ sont bien accessibles.

En utilisant la zone de texte "Configurer votre fichier robots.txt", vous pouvez ajouter vos propres règles sans qu'elles soient écrasées lors d'une future (et rare) régénération du fichier de base.

marieweb

Merci beaucoup @Milo pour ces précisions super utiles ! Et merci aussi @audrey_dev43 et @sophieweb pour vos retours d'expérience. Je suis bien sur PrestaShop 1.7.4.2.

Je n'avais pas pensé à cette zone de texte "Configurer votre fichier robots.txt" pour ajouter les Disallow spécifiques. J'étais partie sur l'idée de modifier le fichier direct par FTP. C'est beaucoup plus propre comme ça.

Je vais vérifier mon robots.txt actuel pour être sûre que les /themes/ et /modules/ ne sont pas bloqués de façon trop large et j'ajouterai mes règles pour le panier et la recherche via l'interface. Je n'appuierai plus sur le bouton "Générer" sans réfléchir ! 🙂

Problème résolu !