Extrait de l’article « Comment créer un web crawler » :

Qu’est-ce qu’un « web crawler » ?

Un web crawler, ou araignée, est un robot Internet qui indexe et visite toutes les URL qu’il rencontre. Son objectif est de visiter un site Web de bout en bout, de savoir ce qu’il y a sur chaque page Web et de pouvoir trouver l’emplacement de toute information. Les robots d’exploration les plus connus sont ceux des moteurs de recherche, le GoogleBot par exemple. Lorsqu’un site Web est en ligne, ces robots d’exploration le visitent et lisent son contenu pour l’afficher dans les pages de résultats de recherche pertinentes.

Comment fonctionne un web crawler ?

À partir de l’URL racine ou d’un ensemble d’entrées, le web crawler récupérera les pages Web et trouvera d’autres URL à visiter, appelées « seeds », dans cette page. Toutes les seeds trouvées sur cette page seront ajoutées à sa liste d’URL à visiter. Cette liste s’appelle « l’horizon ». Le crawler organise les liens en deux fils : ceux à visiter et ceux déjà visités. Il continuera à visiter les liens jusqu’à ce que l’horizon soit vide.

Comme la liste des seeds peut être très longue, le robot d’exploration doit organiser celles-ci en suivant plusieurs critères, et prioriser celles à visiter en premier et à revoir. Pour savoir quelles pages sont les plus importantes à explorer, le bot prendra en compte le nombre de liens vers cette URL, la fréquence à laquelle elle est visitée par les utilisateurs réguliers.

Quelle est la différence entre un web scraper et un web crawler?
L’exploration, par définition, implique toujours le Web. L’objectif d’un robot d’exploration est de suivre les liens pour accéder à de nombreuses pages et analyser leurs métadonnées et leur contenu.

Le scraping est possible hors du Web. Par exemple, vous pouvez récupérer des informations à partir d’une base de données. Le scraping consiste à extraire des données du Web ou d’une base de données.

Pourquoi avez-vous besoin d’un web crawler ?
Avec le web scraping, vous gagnez énormément de temps, en récupérant automatiquement les informations dont vous avez besoin au lieu de les rechercher et de les copier manuellement. Cependant, vous devez toujours scraper page après page. Le crawling Web permet de collecter, organiser et visiter toutes les pages présentes sur la page racine, avec la possibilité d’exclure certains liens. La page racine peut être un résultat de recherche ou une catégorie.

Par exemple, vous pouvez choisir une catégorie de produit ou une page de résultats de recherche d’Amazon en tant qu’entrée, et l’explorer pour récupérer tous les détails du produit et la limiter aux 10 premières pages avec les produits suggérés.

Cliquez ici pour lire la suite de l’article (en anglais)