Direction des Relations Internationales (DRI)

Programme INRIA "Equipes Associées"
(Demande de prolongation)

 

I. DEFINITION

EQUIPE ASSOCIEE

SHAPES

sélection

2007

Equipe-Projet INRIA : ARIANA

Organisme étranger partenaire : Florida State University

Centre de recherche INRIA: Sophia Antipolis
Thème INRIA : COG

Pays : USA

 

 

Coordinateur français

Coordinateur étranger

Nom, prénom

 ZERUBIA, Josiane   

 SRIVASTAVA, Anuj

Grade/statut

 DR1, chef de projet

 Full Prof.

Organisme d'appartenance
(précisez le département et/ou le laboratoire)

 EPI Ariana, INRIA, Centre de Sophia Antipolis Méditerranée

 Dept. of Statistics, Florida State University

Adresse postale

 BP 93, 2004 route des Lucioles, 06902 Sophia Antipolis Cedex, France

 Tallahassee, Florida 32306-4330, USA

URL

  http://www-sop.inria.fr/ariana/

  http://stat.fsu.edu/

Téléphone

  +33 492 38 78 65

  +1 850-644-8832

Télécopie

  +33 492 38 76 43

  +1 850-644-5271

Courriel

  Josiane.Zerubia@sophia.inria.fr

  anuj@stat.fsu.edu

NOTA : Si la proposition d'Equipe Associée comporte plusieurs partenaires, français et/ou étrangers, vous pouvez :
- soit ajouter une colonne,
- soit dupliquer le tableau ci-dessus autant de fois que nécessaire, en remplaçant "Coordinateur français ou étranger" par "Autre participant français ou étranger".


La proposition en bref

Titre de la thématique de collaboration (en français et en anglais) :théorie statistique des configurations de formes pour l'analyse d'images aériennes et satellitaires/statistical theory of configurations of shapes for analysing aerial and satellite images

Descriptif (environ 10 lignes) :Le but de cette équipe associée est de mettre en commun les compétences du projet Ariana (INRIA/I3S) dirigé par J. Zerubia, en traitement d'image, géométrie stochastique et techniques MCMC et celles de l'équipe de recherche ("computer vision group") de A. Srivastava dans le département de Statistiques de l'Université de l'Etat de Floride aux Etats-Unis, qui est spécialisée dans l'analyse de formes, en particulier en géométrie différentielle, statistiques dans un cadre non linéaire et modèles probabilistes pour des images naturelles. Une synergie entre ces deux groupes, via l'équipe associée, devrait permettre des avancées majeures dans le domaine de la détection d'objets en imagerie aérienne et satellitaire haute résolution, pour les aspects applicatifs, ainsi que dans le domaine de la théorie générale des formes, pour les aspects théoriques, dont le précurseur a été le Prof. Grenander à l'Université de Brown aux Etats-Unis. 

 


II. BILAN 2008

Adrian Barbu: We made a small change in the membership of Associated Team SHAPES. For the FSU component, we will have a new member, Prof. Adrian Barbu, who joined FSU as a new assistant professor with joint appointment in Statistics and Computational Science. Prof. Barbu has a PhD in Computer Science from UCLA in 2005 on “Cluster sampling and its application to segmentation, stereo and motion”, and was a research scientist at Siemens Corporation in New Jersey, USA, from 2005-07. His research expertise is in medical imaging, computer vision, hierarchical computing, and learning based modeling and computing.

 

Rapport scientifique de l'année 2008

Rapport 2007

Description de l'activité scientifique de l'équipe associée et des résultats obtenus : publications, communications, organisation de colloques, formation, soutenances de thèse, valorisation économique, sociale, industrielle, enregistrement de logiciels, dépôt de brevets ... (1 à 2 pages)

Our team has made a significant progress towards the goals stated in the original proposal. This progress has been a result of continuous discussion and collaboration between the team members. During 2008,our teams have made several visits:

  1. Senior researchers Ian Jermyn and Xavier Descombes visited Florida State University from April 5-12, 2008.

  2. FSU Prof. Anuj Srivastava visited INRIA Sophia-Antipolis from June 10-15, 2008.

  3. FSU Prof. Eric Klassen visited INRIA Sophia-Antipolis from July 2-6, 2008. In addition to discussing research with ARIANA members, he also gave a seminar on July 2.

  4. FSU Asst. Prof. Adrian Barbu visited INRIA Sophia-Antipolis from July 7-11.

  5. PhD student Aymen El Ghoul will visit Florida State University from December 3-22, 2008.

  6. Post-doc Csaba Benedek will visit Florida State University from December 6-20, 2008.
  7. PhD student Maria Kulikova will visit Florida State University from February 23 to March 1, 2009.

The results of these visits and our collaboration are described below.

Scientific Results

Below we describe the scientific work performed under several subheadings.

Stochastic Geometry with a Focus on Shape Analysis

We have continued the project concerning the detection of a collection of objects from a satellite or aerial image, using marked point processes. This year we focused on sampling shapes from a given distribution. A code has been developed in C++ which, from a set of learning shapes, computes the mean shape (in the sense of the Karcher mean). The learning shape set is then projected in the tangent space at the point given by the mean shape. We then compute the covariance matrix. Assuming Gaussianity, we then can sample some shapes according to the corresponding distribution. This first step being achieved, we now can define a marked point process where the marks correspond to an element of the shape space. The first model under study is Bayesian. The interaction with the data is then decomposed as a product on each pixel, the potential value depending on whether the pixel belong to a shape or not. The prior model simply consists in penalizing overlaps between neighboring shapes.

Looking for Shapes in Cluttered Point Clouds

We have developed a method for identifying shape classes in point clouds. These clouds contain sampled contour points, which are corrupted by observation noise and the addition of clutter points generated by the background and the object interior. Taking an analysis-by-synthesis approach, we simulate high-probability configurations of sampled contours using models learnt from training data and use them to evaluate the given test data. To facilitate simulations, we have developed statistical models for the sources of (nuisance) variability in the problem: (i) shape variation within classes; (ii) variability in the sampling of continuous curves; (iii) pose and scale variability; (iv) observation noise; and (v) points introduced by clutter. Samplings of a finite number of points from a closed curve are represented by positive diffeomorphisms of the unit circle. We derive probability models on these functions using their square-root forms and the Fisher-Rao metric. Using a Monte Carlo approach, we simulate configurations from a joint prior on the shape-sample space and compare them to the data using a likelihood function. Average likelihoods of simulated configurations lead to estimates of the posterior probabilities of different classes and, hence, Bayesian classification. Currently, we are developing an application of this approach to the classification of objects in remotely sensed images when only a set of primitives (points, lines, and arcs) associated with the objects is given.

Publications
Conference
  1. An Efficient Representation for Computing Geodesics Between n-Dimensional Elastic Shapes, S. Joshi, E. Klassen, A. Srivastava, and I. Jermyn, in Proceedings of IEEE Computer Soc. Conf., CVPR, Minneapolis, Minnesota, USA, June 2007.
  2. Riemannian Analysis of Probability Density Functions with Applications in Vision, A. Srivastava, I. Jermyn, and S. Joshi, in Proceedings of IEEE Computer Soc. Conf., CVPR, Minneapolis, Minnesota, USA, June 2007.

  3. Removing Shape-Preserving Transformations in Square-Root Elastic (SRE) Framework for Shape Analysis of Curves, S. Joshi, E. Klassen, A. Srivastava, and I. Jermyn, in Proceedings of EMMCVPR, Ezhou, China, August 2007.
  4. Tree Classification Using Radiometry, Texture and Shape Based Features, M. S. Kulikova, M. Mani, A. Srivastava, X. Descombes, and J. Zerubia, in Proceedings of EUSIPCO 2007, Poznan, Poland, September 2007.

  5. Diagramme de phase d'une énergie de type contours actifs d'ordre supérieur : le cas d'une barre longue, A. El Ghoul, I. Jermyn, and J. Zerubia, in Proceedings of RFIA 2008, Amiens, France, January 2008.

  6. Automatic flamingo detection using a multiple birth and death process, S. Descamps, X. Descombes, and J. Zerubia, in Proceedings of IEEE Signal Processing Soc. Conf., ICASSP, Las-Vegas, Nevada, USA, March 30 - April 4, 2008.

  7. Phase diagram of a long bar under a higher-order active contour energy: application to hydrographic network extraction from VHR satellite images, A. El Ghoul, I. Jermyn, and J. Zerubia, in Proceedings of ICPR 2008, Tampa, Florida, USA, December 2008.

  8. Bayesian Classification of Shapes Hidden in Point Cloud Data, A. Srivastava and I. Jermyn, 13th IEEE Digital Signal Processing Workshop, Marco Island, FL, January 2009 (accepted for presentation).

Journal
  1. Looking for Shapes in Two-Dimensional Cluttered Point Clouds, A. Srivastava and I. Jermyn. IEEE Transactions on Pattern Analysis and Machine Intelligence, 04 Sept 2008. http://doi.ieeecomputersociety.org/10.1109/TPAMI.2008.223

  2. Square-Root Elastic Representations for Analyzing Shapes of Curves in Euclidean Spaces, S. Joshi, E. Klassen, A. Srivastava, and I. Jermyn. In preparation, September 2008.

Training

The following students are currently working within the Associated Team:

INRIA : A. El Ghoul (PhD),  A. Gamal Eldin (PhD), G. Gherdovich (PhD), M. S. Kulikova (PhD) and C. Benedek (Post-doc).

FSU : S. Joshi (PhD), W. Liu (PhD), and J. Su (Master).

Rapport financier 2008

1. Dépenses EA (effectuées sur les crédits de l'Equipe Associée)

Montant dépensé (en €)

Invitations des partenaires

 3 136,90

Missions INRIA

  16 877,55

Total

 20 114,45

Justifiez en quelques lignes l'utilisation des crédits et en particulier une utilisation partielle du budget alloué.

2. Dépenses externes (effectuées sur des financements hors EA)

Montant dépensé (en $)

Nom de l'organisme 1 (*): FSU

Invitations des partenaires

 7 500

Missions INRIA vers le partenaire

500

Total

 8 000

Nom de l'organisme 2 (*):

Invitations des partenaires

 

Missions INRIA vers le partenaire

 

Total

(*) Ajouter ou supprimer des lignes au tableau ci-dessus de façon à faire figurer tous les organismes ayant contribué au financement de l'équipe associée

Total des financements externes dépensés

8 000
(5 942€)

Total des financements EA et externes dépensés

26 056,45 €

 

Bilan des échanges effectués en 2008


1. Chercheurs Seniors

Nom

statut (1)

provenance

destination

objet (2)

durée (3)

Coût en € (si financement EA)

INRIA

Coût en $ (si financement externe)

FSU

 DESCOMBES   

 DR

 Sophia-Antipolis

 Tallahassee   

 Colloque ICASSP+visite

 8 jours      

3 448,69

 JERMYN

 CR

 Sophia Antipolis

 Tallahassee

 Visite

 8 jours

2 286,20

500 

 SRIVASTAVA

 Professeur

 Lille

 Sophia-Antipolis

 Visite

 3 jours

86,58 

2 500 

 KLASSEN

 Professeur

 Lille

 Sophia-Antipolis

 Visite

 4 jours

952,56

2 000 

 CHAN

 Professeur

 Paris

 Sophia Antipolis

 Visite

 6 jours

666,44

 BARBU

 Maître de Conf

 Lille

 Sophia Antipolis

 Visite

 5 jours

522,40

3 000

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


Total des durées

 36 jours

(1) DR / CR / professeur
(2) colloque, thèse, stage, visite....
(3) précisez l'unité (mois, semaine..)


2. Juniors

Nom

statut (1)

provenance

destination

objet (2)

durée (3)

Coût en € (si financement EA)

Coût (si financement externe)

 EL GHOUL

 Doctorant    

 Sophia Antipolis

 Paris

 Demande de visa    

 1 jour

416,93

 EL GHOUL

 Doctorant

 Sophia Antipolis

 Tallahassee

 Visite (mission annulée car pas reçu visa à temps, pénalité sur billet d'avion)

 0    

341,07

 EL GHOUL

 Doctorant

 Sophia Antipolis

 Tampa+Tallahassee

 Colloque ICPR+visite

 19 jours

4 353,26

 BENEDEK

 Post-Doc

 Sophia Antipolis

 Tampa+Tallahassee

 Colloque ICPR+visite

 14 jours

4 044,82

 SU

 Doctorant

 Thallassee

 Sophia Antipolis

 Visite

 11 jours

995,50

 KULIKOVA

 Doctorant

 Sophia Antipolis

 Tallahassee

 Visite

 6 jours

2 000,00


Total des durées

 51 jours

(1) post-doc / doctorant / stagiaire
(2) colloque, thèse, stage, visite....
(3) précisez l'unité (mois, semaine..)

III. PREVISIONS 2009

Programme de travail

Stochastic Geometry with a Focus on Shape Analysis
Next year, we will focus on diffusion dynamics in the shape space. We have caracterized shape classes by Gaussian distributions on the tangent space. After having computed the mean shape and the covariance matrix, we are able to sample shapes following a given Gaussian distribution. We have defined a first marked point process, where the points live in the image plane and the marks in the shape space. To extract a collection of shapes from a given image, we have to optimize the proposed model. This optimization will be performed by a simulated annealing scheme based on a sampler. The sampler will consist in a multiple birth and death dynamics, which allows us to add and to remove objects in the configuration. To speed up the computation time, we need to include some diffusion scheme for moving and deforming objects in the configuration. The difficulty lies in the fact that the diffusion should be defined in the shape space itself for deforming objects. We will study the Beltrami operator for defining such a diffusion scheme.
Statistical Shape Analysis of Two-Dimensional Surfaces
One of the results of the work so far performed within the EA is a new representation for shape, the Q representation. This greatly simplifies many aspects of shape computation and modeling by rendering Euclidean the elastic metric on the space of parameterized curves. The Q representation is the only representation that renders this metric Euclidean, not only in two dimensions, but in any dimension. However, while curves in n-dimensional spaces have their uses, it is equally important to be able to describe and model higher-dimensional objects and their statistics, in particular two-dimensional surfaces in three dimensions. The ultimate goal is to develop tools for analyzing the shape of two-dimensional surfaces satisfying certain geometrical and topological constraints (smoothness, no holes, etc). It is natural in this context to look for an analogue of the Q representation for surfaces. One of the central goals of the EA for 2009 is to find such a representation and to begin the process of constructing for surfaces the machinery that already exists for curves (geodesic, distances, statistics,...). Just as with curves, since the shape of a surface is invariant to its parameterization, one would like an approach that yields the same result irrespective of the parameterization. The construction of such a representation is far harder than for curves, however, due to the greater complexity of the group of diffeomorphisms of R2 (or S2) compared to R (or S1). In particular, there is no preferred parameterization that can be used to fix the reparameterization gauge.
Detection of Objects in Hyperspectral Imagery

Detection and recognition of objects using data from hundreds of frequency bands is very challenging. Consider the following simple example. An object present in an imaged scene renders a distinct signature in each frequency band of the hyperspectral data. In case of shape-based characterization of objects, the shape associated with the object may be different in different frequencies. One would like to use this ensemble of shapes to jointly characterize the original object. The tools from statistical theory of shapes help us define and analyze statistics such as means, covariances, moments and stochastic processes on shape spaces, and therefore can be used in analyzing hyperspectral ensemble of shapes. Consider the problem of detecting lakes using aerial images collecting in multiple frequencies. It is possible that the boundaries of lakes may be hard to detect and classify in visible images, but are easier to analyze in thermal images, especially when the ground is at a higher temperature compared to the lake water. Thermal imagery is very useful in identifying bodies of water, roads, plantations, etc due to differences in their thermal profiles from the surroundings.


Programme d'échanges avec budget prévisionnel

1. Echanges

Décrivez les échanges prévus dans les deux sens : invitations de chercheurs de votre partenaire et missions INRIA vers votre partenaire ;
Précisez s'il s'agit de chercheurs confirmés ou de juniors
(stagiaires, doctorants, post-doctorants) ;
Motivez, si possible, les raisons scientifiques (travail commun, workshop,..) et précisez la durée prévue ;
Indiquez les étudiants impliqués dans la proposition. Donnez une estimation de leur nombre, pour chaque partenaire, et précisez si des thèses en cotutelle sont prévues ;
Résumez ensuite ces informations dans les tableaux 1 et 2 ci-dessous en faisant une estimation budgétaire :

Ariana and FSU will jointy organize a one day workshop on "Shape Analysis" in June 2009 at INRIA Sophia Antipolis Méditerranée.

Echanges prévus de l'INRIA vers FSU:
- Ian Jermyn, CR, Avril 2009 (1 semaine), travail en commun
- Xavier Descombes, DR, Avril 2009 (1 semaine), travail en commun
- Maria Kulikova, doctorante, Juillet 2009 (1 semaine), travail en commun
- Ahmed Gamal-Eldin, doctorant, Octobre 2009 (1 semaine), travail en commun

Echanges prévus de FSU à l'INRIA:
- Wei Lu, doctorant, doctorant, Mai 2009 (1 semaine), travail en commun
- Anuj Srivastava, Professeur, Juin 2009 (2 semaines), travail en commun et workshop

 1. ESTIMATION DES DÉPENSES EN MISSIONS INRIA VERS LE PARTENAIRE

Nombre de personnes

Coût estimé (en €)

Chercheurs confirmés

 2

5 000

Post-doctorants

 0

Doctorants

 2

5 000

Stagiaires

 0

Autre (précisez) :

 0

   Total

 4

10 000 

 

 2. ESTIMATION DES DÉPENSES EN INVITATIONS DES PARTENAIRES

Nombre de personnes

Coût estimé (en $)

Chercheurs confirmés

 1

3 500 

Post-doctorants

 0

Doctorants

1

2 000 

Stagiaires

 0

Autre (précisez) : location voiture invité+2 conférences (ICIP en Egypte et CVPR En Floride-USA)

 2

4 500 

   Total

 

10 000 

2. Cofinancement

Cette coopération bénéficie-t-elle déjà d'un soutien financier de la part de l'INRIA, de l'organisme étranger partenaire ou d'un organisme tiers (projet européen, NSF, ...) ?
Indiquez ces éléments et donnez les montants associés.

Oui de FSU via des contrats (Army et NSF) pour un montant de 10 000$ (soit 7 359 € au taux du 15/10/08).

3. Demande budgétaire

Indiquez, dans le tableau ci-dessous, le coût global estimé de la proposition et le budget demandé à la DRI dans le cadre de cette Equipe Associée.
(maximum 20 K€ pour une prolongation en 2e année et 10 K€ pour une 3e année).

Commentaires

Montant (en €)

A. Coût global de la proposition (total des tableaux 1 et 2 : invitations, missions, ...)

17 359 

B. Cofinancements utilisés (financements autres que Equipe Associée)

7 359 

Financement "Équipe Associée" demandé (A.-B.)
(maximum 20 K€ pour une 2e année et 10 K€ pour une 3e année)

 10 000

Remarques ou observations :

Pour 2008, il y a un dépassement de 114,45€ sur le budget attribué à l'Equipe Associée, qui sera pris en charge sur le budget Ariana s'il s'avère que les dépenses effectives (en Décembre 2008) correspondent au budget prévisionnel.

 

 

© INRIA - mise à jour le 15/08/2008