Nick Kingsbury

Former Visitor, University of Cambdridge, UK

Contact :

Last publications in Ariana Research Group :

The Methodology and Practice of the Evaluation of Image Retrieval Systems and Segmentation Methods. I. H. Jermyn and C. Shaffrey and N. Kingsbury. Research Report 4761, INRIA, France, March 2003. Keywords : Image database, Segmentation, Semantic. @TECHREPORT{4761, author = {Jermyn, I. H. and Shaffrey, C. and Kingsbury, N.}, title = {The Methodology and Practice of the Evaluation of Image Retrieval Systems and Segmentation Methods}, year = {2003}, month = {March}, institution = {INRIA}, type = {Research Report}, number = {4761}, address = {France}, url = {https://hal.inria.fr/inria-00071825}, pdf = {https://hal.inria.fr/file/index/docid/71825/filename/RR-4761.pdf}, ps = {https://hal.inria.fr/docs/00/07/18/25/PS/RR-4761.ps}, keyword = {Image database, Segmentation, Semantic} } Résumé : La recherche d'images par le contenu est importante pour deux raisons. Premièrement, la croissance d'archives d'images fréquemment citée dans beaucoup d'applications, et l'expansion rapide du Web, signifient qu'il est nécessaire d'utiliser des systèmes de recherche efficaces pour les bases de données afin que la masse de données accumulée soit utile. Deuxièmement, la recherche dans les bases de données image pose des questions importantes liées à la vision par ordinateur : une recherche efficace demande une véritable compréhension des images. Pour ces raisons, l'évaluation des systèmes de recherche dans les bases de données image devient une priorité. Il existe déjà une littérature importante évaluant des systèmes spécifiques, mais peu de discussions sont publiées sur les méthodes d'évaluation en soi. Dans la première partie de ce rapport, nous proposons un cadre dans lequel ces sujets peuvent être abordés, nous analysons des méthodologies d'évaluation possibles, indiquant quand elles sont pertinentes et quand elles ne le sont pas, et nous critiquons la technique «query-by-example» et les méthodes d'évaluation qui s'y rapportent. Dans la deuxième partie du rapport, nous appliquons les résultats de cette analyse à une collection spécifique d'images. Cette collection est problématique mais typique: il n'existe pas de vérité terrain sémantique. Considérant la recherche fondée sur la segmentation d'image, nous présentons une nouvelle méthode pour son évaluation. Contrairement aux méthodes d'évaluation qui reposent sur l'existence ou la création d'une vérité terrain, la méthodologie proposée utilise des sujets humains pour un test psychovisuel qui compare les résultats des différentes méthodes de segmentation. Le test est con u pour répondre à deux questions : existe-t-il une segmentation «meilleure» que les autres et si oui qu'apprenons-nous des méthodes de segmentation pour la recherche dans des bases de données image? Les résultats confirment la cohérence des jugements humains, permettant ainsi une évaluation significative. Abstract : Content-Based Image Retrieval is important for two reasons. First, the oft-cited growth of image archives in many fields, and the rapid expansion of the Web, mean that successful image retrieval systems are fast becoming a necessity if the mass of accumulated data is to be useful. Second, database retrieval provides a framework within which the important questions of machine vision are brought into focus: successful retrieval is likely to require genuine image understanding. In view of these points, the evaluatio- n of retrieval systems becomes a matter of priority. There is already a substantial literature evaluating specific systems, but little high-level discussion of the evaluation methodologies themselves seems to have taken place. In the first part of the report, we propose a framework within which such issues can be addressed, analyse possible evaluation methodologies, indicate where they are appropriate and where they are not, and critique query-by-example and evaluation methodologies related to it. In the second part of the report, we apply the results of this analysis to a particular dataset. The dataset is problematic but typical: no ground truth is available for its semantics. Considering retrieval based on image segmentation- s, we present a novel method for its evaluation. Unlike methods of evaluation that rely on the existence or creation of ground truth, the proposed evaluatio- n procedure subjects human subjects to a psychovisual test comparing the results of different segmentation schemes. The test is designed to answer two questions: does consensus about a `best' segmentation exist, and if it does, what do we learn about segmentation schemes for retrieval? The results confirm that human subjects are consistent in their judgements, thus allowing meaningful evaluation. Psychovisual Evaluation of Image Segmentation Algorithms. C. Shaffrey and I. H. Jermyn and N. Kingsbury. In Proc. Advanced Concepts for Intelligent Vision Systems, Ghent, Belgique, September 2002. @INPROCEEDINGS{kingij, author = {Shaffrey, C. and Jermyn, I. H. and Kingsbury, N.}, title = {Psychovisual Evaluation of Image Segmentation Algorithms}, year = {2002}, month = {September}, booktitle = {Proc. Advanced Concepts for Intelligent Vision Systems}, address = {Ghent, Belgique}, pdf = {http://www-sop.inria.fr/members/Ian.Jermyn/publications/acivs2002_final.pdf}, keyword = {} } Evaluation Methodologies for Image Retrieval Systems. I. H. Jermyn and C. Shaffrey and N. Kingsbury. In Proc. Advanced Concepts for Intelligent Vision Systems, Ghent, Belgique, September 2002. @INPROCEEDINGS{shaffreyij, author = {Jermyn, I. H. and Shaffrey, C. and Kingsbury, N.}, title = {Evaluation Methodologies for Image Retrieval Systems}, year = {2002}, month = {September}, booktitle = {Proc. Advanced Concepts for Intelligent Vision Systems}, address = {Ghent, Belgique}, pdf = {http://www-sop.inria.fr/members/Ian.Jermyn/publications/acivs2002final.pdf}, keyword = {} }

All publications in Ariana Research Group