Fonctionnement des moteurs de recherches et plus précisément leur robot qui s'occupe de l'indexation des pages. exemple de bots : googlebot, MSNbot ...

1. Les moteurs de recherche
• Aperçu général
• Les différentes technologie
• Et plus en détail : les spiders

2. Comment fonctionne un moteur
de recherche ?
•La collecte d’information
•L’indexation des données collectées
•Classement des résultats en fonction de
leurs pertinences
•Affichage des résultats les uns en-dessous
des autres

3. Fonctionnement

4. Technologie utilisée
Donnée valable pour 2009

5. La collecte d’information
avec les spiders
Les spiders qu’est ce que c’est ?
• Les spiders (bots) sont des programmes de navigation
visitant en permanence les pages web et leurs liens en
vue d’indexer leurs contenus.
• Il détecte les liens des pages est les visites 24h/24h.

6. Les différents bots
• Les bots les plus connu : Googlebot de Google, Yahoo! Slurp de
Yahoo!, MSNBot de Microsoft Bing, Exabot d’Exalead.

7. Les spiders ou crawler
Qu’est ce qui font ?
• Contrôles des différentes versions enregistrer dans les
bases de données du spider.
• Avant la visite était mensuel, maintenant les bots visites
des sites plusieurs fois par jour.

8. Les spiders
Politique de sélection
• Une étude de 2009 a montré que seulement 40% à 70% du web est
indexé.
• 1999 : Un moteur de recherche indexe pas plus de 16% du web.

9. Le web profond ou le deep web
• Le web profond : les robots sont incapables de trouver les
pages qui n’ont aucun lien qui pointe vers eux.
• Google a développé les Sitemaps et mod_oai pour
permettre la découverte des ces ressources.

10. Source
• Olivier Andrieu - Reussir son referencement
web
• http://en.wikipedia.org/wiki/Web_crawler/
• http://roxors.pbworks.com/w/page/87922261/Lu
cas%20Roche