Les robots d'indexation
Vendredi 16 mars 2007
Les moteurs de recherche utilisent des logiciels pour parcourir internet et alimenter leurs bases. Ces logiciels sont appelés des " robots " Comment les connaitre ? • Exemple : altavista a nommé entre autre " mercator " un de ses robots. Qui utilise des robots ? Classement par outils Classement par robots Abacho AbachoBOT AbachoBOT Abacho Alexa Ia_archiver Almaden IBM Altavista Scooter Antibot Antisearch Alltheweb Overture-WebCrawler Arachnoidea Euroseek Antisearch Antibot ArchitextSpider Excite AtomZ Atomz Asterias Singingfish Excite ArchitextSpider Atomz AtomZ Euroseek Arachnoidea Fluffy the spider Search Hippo Google Googlebot Googlebot Google IBM Almaden HenryTheMiragoRobot Mirago Inktomi Slurp Ia archiver Alexa Infoseek UltraSeek Lycos Spider (T-Rex) Lycos Looksmart MantraAgent MantraAgent Looksmart Lycos Lycos Spider (T-Rex) MsnBot Msn Mirago HenryTheMiragoRobot Overture WebCrawler Alltheweb Msn MsnBot Psbot Picsearch Picsearch Psbot Scooter Altavista Search Hippo Fluffy the spider Slurp Inktomi Singingfish Asterias Teoma agent1 Teoma Teoma Teoma agent1 UltraSeek Infoseek Wisenut ZyBorg ZyBorg Wisenut
Ces outils " lisent " vos pages et les enregistrent, les indexent selon différents critères propres à chacun d'eux.
Ces robots, en arrivant sur votre site, laissent une empreinte sur votre serveur dans le fichier log. Leur passage est repérable par une "signature" propre à chacun.
Pour inktomi c'est " slurp ", "googlebot" pour google, etc.
En premier lieu, les moteurs tels que Altavista, Google, fast, hotbot, Voila, ...
Mais nous remarquons désormais d'autres familles, telles que :
- les systèmes de veille (surveillance de pages)
- les robots universitaires en phase de tests
- des sociétés privés pour alimenter des extranet ou intranet
- des organismes publics, gouvernementaux de surveillance
- des robots aspirateurs d'adresses mail
Voici une liste non-exhaustive des principaux robots connus :
