5 Conclusion

Le déroulement global de ce stage peut être décomposé en trois parties. La première a permis d'étudier ce qui avait été déjà réalisée dans le domaine des moteurs de recherche d'informations aussi bien au niveau indexation que statistique.

La deuxième partie de ce stage a été la phase de développement où nous avons proposé un robot répondant à un certain nombre de caractéristiques afin d'être utilisé pour l'analyse de la mise à jour du World Wide Web. Ce délai s'est avéré plus long que prévu et a, de ce fait, empiété sur la phase statistique. Aussi, l'exécution du robot s'est faite sur une échelle de temps trop restreinte, et l'analyse des résultats n'a pas vraiment reflété le comportement réel des sites étudiés.

Une étude sur un échantillon plus grand de sites et sur une période plus longue permettrait d'obtenir des données beaucoup plus significatives sur la politique de modification des pages. Il serait ainsi possible de décomposer les sites en groupes homogènes et de regrouper plusieurs sites ayant des comportements semblables. Il faudrait donc multiplier les visites du robot sur les serveurs choisis pour ne pas uniquement regarder les fréquences de mise à jour à un moment donné mais dans un intervalle de temps donné.

De nombreuses perspectives peuvent être approfondies. Si une vraie politique de mise à jour est établie, il serait ensuite possible de mettre au point la construction d'un site miroir. La copie se ferait en fonction des données obtenues par la première étude. Ces résultats détermineraient les dates de changements du site distant et donc le moment où doit être réalisé le rapatriement global du site distant sur une partition locale.