Il existe vraiment des outils idéals et gratuits pour réaliser le Crawl d’un site web. On les appelle également « les crawlers gratuits ». Il s’agit d’un logiciel qui permet d’explorer un site tout comme le ferait un fichier robot des moteurs de recherches. Le fait de réaliser le crawl d’un site aide son propriétaire ou autre à comprendre la structure d’un site et à détecter les erreurs pouvant contenir dans celui-ci. Quand quelqu’un lance un crawler sur un site, il pourra accéder à de nombreuses informations importantes telles que : la quantité des liens sortants et des liens entrants, la taille de la page, son ampleur, le statut de la page, les erreurs 404 ainsi que la balise title, etc. Ce processus de crawl d’un site aide son propriétaire à être au courant de l’état de santé de son site. Afin de réaliser ce crawl, voici 3 logiciels gratuits.
Le logiciel Xenu
Petit mot sur le logiciel
Il s’agit du logiciel crawler le plus célèbre. De plus, il est facile à manipuler, c’est un logiciel qui ne dispose pas de nombreux composant sophistiqué. C’est très pratique. Seulement, il commence à être considéré comme un logiciel démodé. Quand on lance Xenu, il ne reste plus qu’à introduire l’adresse de site à crawler. Puis, on attend quelques minutes ou quelques heures selon la taille du site à crawler, on aura accès à toutes les informations sur le site. Les données sont listées par URLs à l’intérieur d’un tableau.
Listes des données auxquelles on peut avoir accès après un crawl d’un site par le logiciel Xenu
-
- L’adresse URL de toutes les pages.
-
- Statut de la page vue. Toutes les erreurs de la page 404, 301, 302, et du serveur. Le nom de domaine perdu, confirmation requise.
-
- Title : fournis le mot d’ancrage du lien qui pointe vers la page plutôt qu’à l’intérieur de la balise Title.
-
- Date : La date de la conception du fichier.
-
- Level : la position où se situe la page à partir de la page d’accueil. Quel nombre de clics pour accéder à la page.
-
- Out Links : Le nombre de liens sortants de la page.
-
- In Links : Le nombre de liens entrant vers la page.
-
- Duration : Le temps d’accès.
-
- Charset : les différentes polices employées.
-
- Description : Ce qui est dans la balise Meta Description
Export des données
Xenu offre la possibilité d’exporter les données au format CSV afin de les étudier sur l’outil Excel. Il est aussi faisable de créer un Google Sitemap de façon automatique. On peut également exporter les informations acquises pour GraphViz. Une fois, cet outil est installé, on a la possibilité de créer un graphe qui donne la structure du site web. Ce logiciel Xenu peut fonctionner sous Windows, Linux et Mac.
Le logiciel LinkExaminer
A propos du logiciel
Pareil au précédent logiciel Xenu, ce crawler est aussi gratuit et simple à utiliser. Sa forme est à peu près la même que celle de Xenu. La procédure est également identique à celle du logiciel Xenu, il suffit de lancer le logiciel et de taper l’adresse URL. Le reste se fait automatiquement. Ce crawler LinkExaminer offre beaucoup plus d’informations que Xenu. Les résultats du crawl se font comme ceux-ci : le statut des pages considérées comme OK est affiché en ligne verte tandis que les URL qui présentent des erreurs comme erreur 404, erreurs serveur, et ndd introuvables se présentent sous des lignes rouges.
Liste des données accédées après le processus de crawl du site par LinkExaminer
-
- L’adresse du site.
-
- Les codes erreurs renvoyés par le serveur. Erreur 200, erreur 301, erreur 302, et erreur 404.
-
- Les messages renvoyés par le serveur comme le message « OK », et la « redirection permanente ».
-
- Les liens externes et internes.
-
- Les liens nofollow ou non.
-
- L’adresse URL créée de façon automatique ou non.
-
- L’adresse URL relative ou sans restriction.
-
- Les informations nécessaires sur la balise title et la balise Meta Description.
-
- Les indications sur le contenu de la balise TITLE.
-
- L’étendue de la page.
-
- Le nombre de liens sortant et de liens entrants.
-
- Le type du texte de la page.
-
- La date de la dernière modification.
-
- La nature de liens.
-
- L’indication sur le test de la conformité des pages internes.
Export des données
L’export peut se faire également en fichier CSV tout comme le crawler Xenu. En vue de créer un sitemap, il est possible également de procéder à l’export en fichier XML.
Le Logiciel Free SEO Toolkit de Microsoft
Piqure de rappel sur ce logiciel
Ce logiciel de crawl est un peu différent des 2 autres crawlers précédents. Il est plus ou moins raffiné par rapport aux deux autres logiciels. Ce qui le différencie des deux autres, ce que Microsoft a inclus dans cet outil un gestionnaire de projet. C’est très pratique de ce fait qu’après le lancement du logiciel, celui-ci affiche tout de suite les différents projets. Mais tout comme sur les 2 autres logiciels, il suffit de lancer un crawl en fournissant des renseignements d’une page web, puis la suite tourne.
Le compte-rendu ne se montre pas précisément sous forme d’un tableau. Mais il se fait sous forme de nombreux onglets qui offrent la possibilité d’accéder à plusieurs catégories. L’affichage se présente ayant la forme de fenêtres. En effet, il vaut mieux alors être équipé d’un écran plus large pour bien tirer profit de l’utilisation de ce crawler. Il fonctionne sous Windows, mais avant de l’installer, il est important d’installer IIS.
Les statistiques affichées par le crawler SEO toolkit
-
- Le nombre de pages, proportionnellement aux statuts 404, OK, et 301.
-
- Liste de l’ensemble des liens sortants.
-
- Liste des documents copier-coller.
-
- Liste de pages pour tous les dossiers.
-
- Liste des balises Title dupliquées.
-
- Liste des balises meta-description effectuée plus d’une fois.
-
- Liste des pages où l’on trouve des liens inactifs.
En guise de conclusion, le logiciel parfait pour réaliser le crawl d’un site web n’existe pas, seulement, afin d’avoir un meilleur résultat, il est fort conseillé de tester les logiciels crawler se trouvant dans la toile. Il est à noter que chaque crawler a ses particularités en ce qui concerne sa rapidité, son interface et son ergonomie. Il tient à chacun alors de faire son choix.