FLAMANTS : Détection d'objets pour l'estimation de la taille de populations d'oiseaux

Les processus ponctuels marqués ont prouvé leur efficacité pour extraire les arbres à partir d'images aériennes [1-7].
Les processus ponctuels sont définis par une densité relativement à la mesure de Poisson. Cette mesure de référence permet de contrôler l'espérance du nombre de points dans un compact. Ces points sont alors répartis uniformément et indépendamment dans le compact. L'introduction d'une densité permet, via un terme d'attache aux données, de répartir les points vers les zones d'intérêt (les zones de l'image où se trouvent les objets), et d'introduire des contraintes géométriques sur l'agencement des objets. Par exemple, un terme répulsif permet d'éviter les recouvrements entre objets.
L'ajout de marques permet également d'associer un objet à chaque point, dont la géométrie (taille, orientation,...) est donnée par la valeur des marques.  On pourra ainsi modéliser les flamants roses par des ellipses dont la taille et l'orientation seront définies par les marques (voir la figure 2).

Figure 2 : Flamants roses

Ce type de modèle peut être simulé par un algorithme de type MCMC à sauts réversibles. En intégrant cet algorithme dans un schéma de recuit simulé, nous pouvons alors estimer la configuration optimale, c'est à dire  un ensemble d'objets qui réalise le meilleur compromis entre la localisation sur les données et les contraintes géométriques définies a priori. Nous développerons un tel algorithme et étudierons différentes approximations (schémas de décroissance de la température non optimaux, algorithmes déterministes en fin de recuit,...) pour accélérer les temps de calcul en fonction de la taille des images traitées. Pour finir, nous étudierons l'apport de méthodes d'optimisation plus récentes, fondées sur des processus de naissance et mort et des processus de diffusion.

La méthode sera calibrée à partir de photos aériennes de colonies de Flamants roses de France (Camargue), Turquie et Mauritanie et de Manchots royaux dont la taille a été estimée manuellement par ailleurs (décompte oiseau par oiseau avec stylo-compteur). Sur les trois colonies de flamants  considérées, les oiseaux présentent des densités variables allant de faible (Turquie) à élevée avec recouvrement (France). Ces trois colonies sont installées sur des substrats de couleur différente permettant d'évaluer l'efficacité de la méthode à extraire les oiseaux quel que soit le fond de l'image. Finalement les manchots royaux se distinguent des flamants par la bimodalité de leur couleur (noir et blanc), ajoutant potentiellement de la complexité à l'algorithme nécessaire pour les extraire. 

Résultats attendus :

Transfert. Nous souhaitons que la méthode développée permette la création d’un module facilement utilisable par des biologistes et des gestionnaires. Après une phase de calibration assistée par le biologiste, le logiciel permettra d'estimer rapidement la taille de colonies de plusieurs milliers d'oiseaux (de 10 000 en moyenne pour les flamants à plusieurs centaines de milliers pour les manchots) dont le décompte demandait auparavant plusieurs heures (à plusieurs jours) de travail. Nous mettrons à disposition ce logiciel sous licence libre (licence CECILL).

Applications scientifiques. Cette étude nous permettra d’affiner les estimations de taille des populations des colonies de Flamants roses en Méditerranée. Il a été mis en évidence que le décompte des oiseaux présents sur une photo à un instant t pouvait dans certains cas sous-estimer la taille de la population nicheuse du fait de l'étalement des pontes [8]. Le nombre d’oiseaux reproducteurs sur une colonie peut être estimé comme le nombre d’oiseaux présentant un temps de résidence suffisant pour entammer la reproduction. Ce volume peut être estimé en combinant des données de capture-recapture sur des flamants bagués récoltées, par ailleurs, à des inventaires successifs (qui seront alors estimés rapidement). Nous pourrons ainsi produire des estimateurs non biaisés du nombre de couples s'étant vraiment reproduit une année donnée.

Par la suite, ces décomptes serviront à élaborer des modèles démographiques intégrés permettant d'affiner les estimations des taux de dispersion entre les différentes colonies. Il sera alors possible, par exemple, d’estimer les taux de dispersion des Flamants entre la France, la Turquie et la Mauritanie [9-10]. Il sera également possible de tester l’effet de variables environnementales (niveaux d’eau) et individuelles (âge /sexe) sur ces paramètres démographiques [11-12], afin de tester la résistance de ces populations aux changements globaux.

Applications à la conservation de la biodiversité. La taille des populations d'oiseaux d'eau est un paramètre essentiel de l'évaluation de l'état de santé de ces populations et des mesures de conservation dont elles bénéficient. Pourtant ce paramètre reste très souvent mal connu de par la difficulté d'obtenir des estimations fiables à moindre coût. Notre projet permettra une avancée majeure dans ce domaine accélarant l'accès à cette information critique pour les gestionnaires et des décideurs.

A l'issue de ce projet, nous espérons obtenir un financement dans le cadre du pôle compétitivité PEGASE, vers fin 2007 début 2008,  pour continuer ces recherches si nous pouvons prouver la faisabilité de la méthode proposé grace au financement de la COLORSzza

Références :

1 - 2D and 3D Vegetation Resource Parameters Assessment using Marked Point Processes. G. Perrin and X. Descombes and J. Zerubia. In Proc. International Conference on Pattern Recognition (ICPR), Hong-Kong, August 2006. @INPROCEEDINGS{perrin_06_c, author = {Perrin, G. and Descombes, X. and Zerubia, J.}, title = {2D and 3D Vegetation Resource Parameters Assessment using Marked Point Processes}, year = {2006}, month = {August}, booktitle = {Proc. International Conference on Pattern Recognition (ICPR)}, address = {Hong-Kong}, pdf = {ftp://ftp-sop.inria.fr/ariana/Articles/2006_perrin_06_c.pdf}, keyword = {Data energy, Object extraction, Tree Crown Extraction, Stochastic geometry, Marked point process} } Abstract : High resolution aerial and satellite images of forests have a key role to play in natural resource management. As they enable to study forests at the scale of trees, it is now possible to get a more accurate evaluation of the forest resources, from which can be deduced information of biodiversity and ecological sustainability. In that prospect, automatic algorithms are needed to give a further exploitation of the data and to assist human operators. In this paper, we present a stochastic geometry approach to extract 2D and 3D parameters of the trees, by modelling the stands as some realizations of a marked point process of ellipses or ellipsoids, whose points are the positions of the trees and marks their geometric features. This approach gives also the number of stems, their position, and their size. It is an energy minimization problem, where the energy embeds a regularization term (prior density), which introduces some interactions between the objects, and a data term, which links the objects to the features to be extracted. Results are shown on aerial images provided by the French National Forest Inventory (IFN).

2 - A comparative study of three methods for identifying individual tree crowns in aerial images covering different types of forests. M. Eriksson and G. Perrin and X. Descombes and J. Zerubia. In Proc. International Society for Photogrammetry and Remote Sensing (ISPRS), Marne La Vallee, France, July 2006. @INPROCEEDINGS{eriksson06a, author = {Eriksson, M. and Perrin, G. and Descombes, X. and Zerubia, J.}, title = {A comparative study of three methods for identifying individual tree crowns in aerial images covering different types of forests}, year = {2006}, month = {July}, booktitle = {Proc. International Society for Photogrammetry and Remote Sensing (ISPRS)}, address = {Marne La Vallee, France}, pdf = {ftp://ftp-sop.inria.fr/ariana/Articles/2006_eriksson06a.pdf}, keyword = {Region Growing, Marked point process, Markov Fields, Object extraction, Tree Crown Extraction} } Abstract : Most of today's silviculture methods has the goal to optimise the outcome of the forest in stem volume when it is cut.‭ ‬It might also be relevant to save parts of the forest,‭ ‬for instance,‭ ‬to protect a habitat.‭ ‬In order to get a good survey of the forest,‭ ‬remote sensed images are often used.‭ ‬These images are most often manually interpreted in combination with field measurements in order to estimate the forest parameters that are of importance in the decision how to optimally maintain the forest.‭ ‬Among these parameters the most common are stem number,‭ ‬stem volume,‭ ‬and tree species.‭ ‬Interpretation of images are often labour and time consuming.‭ ‬Thus,‭ ‬automatically developed methods for interpretation can lower the work load and speed up the interpretation time.‭ The interpretation is often done using images captured from a far distance from the ground in order to capture as large area as possible.‭ ‬However,‭ ‬this lower the accuracy of the estimates since it must be done stand wise.‭ ‬Knowledge of where each individual trees in the forest is located together with its size will increase accuracy.‭ ‬It makes it also possible to plan the cutting in detail.‭ ‬With this knowledge in mind,‭ ‬research about finding automatically methods for finding individual tree crowns in aerial images has been a subject for researchers the last decades.‭ Today's methods are not capable to alone handle all kind of forests.‭ ‬Therefore,‭ ‬comparative studies of different segmentation methods with different types of forests are of importance in order to clarify how much a method is reliable at a certain type of forest.‭ ‬This knowledge can,‭ ‬for instance,‭ ‬be used to build up an expert system which are supposed to be able to find individual tree crowns in any kind of forests.‭ ‬The comparison is done using images covering different types of forests.‭ ‬The types of forests that are included in the study ranges from isolated tree crown where the ground is clearly visible between the crowns to dense forest which is naturally regenerated via planted forest. In this study we compare three existing segmentation methods for extracting individual tree crowns from aerial images.‭ ‬The first two methods are probabilistic methods which minimises some energy function while the third is a region growing algorithm.‭ ‬The first probabilistic method is based on a Markov Random Field modelling.‭ ‬We define a prior Markov model to segment the image into three classes‭ (‬background,‭ ‬vegetation and tree centres‭)‬.‭ ‬The prior model embed a circular shape model of the tree crown with a‭ ‬random radius.‭ ‬The data term allows to well position the tree centres onto the image and to describe the tree shape as fluctuations around the circular template.‭ ‬Besides,‭ ‬some long range interactions models the relations between the trees locations,‭ ‬such as some periodicity in case of plantations.‭ The second probabilistic method consists in modeling the trees in the forestry images as random configurations of ellipses or ellipsoids,‭ ‬whose points are the positions of the stems and marks their geometric features.‭ ‬The density of this process embeds a regularization term‭ (‬prior density‭)‬,‭ ‬which introduces some interactions between the objects,‭ ‬and a data term,‭ ‬which links the objects to the features to be extracted.‭ ‬We estimate the best configuration of an unknown number of objects,‭ ‬from which‭ ‬2D and‭ ‬3D vegetation resource parameters can be extracted.‭ ‬To sample this marked point process,‭ ‬we use Monte Carlo dynamics,‭ ‬while the optimization is performed via a Simulated Annealing algorithm,‭ ‬which results in a fully automatic approach.‭ ‬This approach works well on plantations,‭ ‬where there are high spatial relations between the trees,‭ ‬and on isolated trees where‭ ‬3D parameters can be extracted,‭ ‬but some difficulties remain in dense areas.‭ The third method,‭ ‬the region growing algorithm,‭ ‬relies as all region growing methods on good seed points,‭ ‬i.e.‭ ‬in this case approximate locations of the tree crowns.‭ ‬From the seed points the segments are grown according to a grey level value of the neighbouring pixels.‭ ‬The larger the value is the sooner it is connected to the neighbouring segment.‭ ‬The segments stops to grow when all pixels belongs to a segment.‭ ‬This method,‭ ‬contrary the others,‭ ‬will have as a result,‭ ‬segments that have captured the actual shape of the tree crown if the forest is not too sparse.‭ ‬If the forest is too sparse such that the ground is visible,‭ ‬there are problems of finding the seed points.‭ ‬In the cases when the forest is sparse,‭ ‬there are difficulties to separate the tree crowns from the ground.‭ ‬Even if the seed points would be located only at the tree crowns the result will contain a lot of errors since all pixels most belong to a segment,‭ ‬i.e.‭ ‬even the ground pixels must be connected to a segment in this case.‭

3 - Forest Resource Assessment using Stochastic Geometry. G. Perrin and X. Descombes and J. Zerubia and J.G. Boureau. In Proc. International Precision Forestry Symposium, Stellenbosch, South Africa, March 2006. @INPROCEEDINGS{perrin_06_b, author = {Perrin, G. and Descombes, X. and Zerubia, J. and Boureau, J.G.}, title = {Forest Resource Assessment using Stochastic Geometry}, year = {2006}, month = {March}, booktitle = {Proc. International Precision Forestry Symposium}, pdf = {ftp://ftp-sop.inria.fr/ariana/Articles/perrin_ipfs06.pdf}, keyword = {Tree Crown Extraction, Object extraction, Stochastic geometry, RJMCMC, Data energy} } Abstract : Aerial and satellite imagery has a key role to play in natural resource management, especially in forestry application. The submetric resolution of the data enables to study forests at the scale of trees, and to get a more accurate assessment of the resources such as the number of stems or the forest cover. To develop automatic tools in order to help the inventories in their work and to bring more knowledge about the stands is also nowadays of important economical and environmental concerns. In this paper, we aim at extracting tree crowns from high resolution aerial Color Infrared images (CIR) of forests using marked point processes. Our approach consists in modelling the trees in the forestry images as random configurations of ellipses, whose points are the positions of the stems and marks their geometric features. The density of this process embeds a regularization term (prior density), which introduces some interactions between the objects, and a data term, which links the objects to the features to be extracted. Our goal is to find the best configuration of an unknown number of objects, i.e. the configuration that maximizes this density. To sample this marked point process, we use Monte Carlo dynamics while the optimization is performed via a Simulated Annealing algorithm, which results in a fully automatic approach. We present different models for the data term in order to cope with different kinds of stands : plantations, isolated trees and mixed stands. Results are shown on aerial CIR images provided by the French Forest Inventory (IFN)

4 - Evaluation des Ressources Forestières à l'aide de Processus Ponctuels Marqués. G. Perrin and X. Descombes and J. Zerubia. In Proc. Reconnaissance des Formes et Intelligence Artificielle (RFIA), Tours, France, January 2006. @INPROCEEDINGS{perrin_06_a, author = {Perrin, G. and Descombes, X. and Zerubia, J.}, title = {Evaluation des Ressources Forestières à l'aide de Processus Ponctuels Marqués}, year = {2006}, month = {January}, booktitle = {Proc. Reconnaissance des Formes et Intelligence Artificielle (RFIA)}, address = {Tours, France}, pdf = {ftp://ftp-sop.inria.fr/ariana/Articles/perrin_rfia06.pdf}, keyword = {Tree Crown Extraction, Stochastic geometry, Marked point process, Object extraction} } Résumé : Les images aériennes et satellitaires jouent un role de plus en plus important dans le domaine de la gestion des ressources naturelles, et en particulier des forêts. Les organismes chargés d'en faire l'inventaire, comme l'Inventaire Forestier National (IFN) en France, s'appuient en effet sur ces images pour observer les différentes espèces d'arbres d'une zone boisée, avant de se rendre sur le terrain pour une étude plus poussée. La résolution submétrique des données permet, en outre, d'entrevoir une étude plus fine, à savoir un comptage à l'arbre près et une classification automatique des houppiers (ensemble des branches et du feuillage d'un arbre). Cette évaluation précise des ressources forestières n'est actuellement pas disponible. Aussi, le développement d'outils automatiques, chargés d'aider les gestionnaires du paysage dans leur travail en leur apportant une connaissance des ressources à l'échelle de l'arbre, se révèle-t-il être d'un intérêt grandissant.L'objectif de notre travail est donc d'extraire des houppiers à partir d'images aériennes de forêts à très haute résolution. Notre approche consiste à modéliser les peuplements forestiers par un processus ponctuel marqué d'ellipses, dont les points représentent les positions des arbres et les marques leurs caractéristiques géométriques. La densité de ce processus comporte une composante de régularisation, dite a priori, qui introduit des interactions entre les objets du processus, ainsi qu'une composante d'attache aux données, afin que les objets du processus se positionnent sur les houppiers que l'on souhaite extraire. Il s'agit de trouver la configuration d'objets, en nombre inconnu a priori, qui maximise cette densité. La simulation de tels processus fait appel aux algorithmes de type Monte Carlo par Chaîne de Markov (MCMC) à sauts réversibles, l'optimisation étant réalisée à l'aide d'un recuit simulé.Nous présentons ici un nouveau modèle d'attache aux données. Contrairement à nos précédents modèles testés sur des plantations, ce modèle n'est plus bayésien puisque le terme d'attache aux données est désormais calculé au niveau des objets et non de l'image. Ceci nous permet de travailler sur des images plus générales, avec des densités d'arbres plus variables. Des résultats obtenus sur des images fournies par l'IFN valident ce modèle. Abstract : Aerial and satellite imagery has a key role to play in natural resources management, especially in forestry application. Indeed, forest inventories, such as the French National Inventory (IFN), refer to these images to analyse the different tree species in a stand, before sending a team on the ground to obtain some more advanced knowledge. Moreover, the submetric resolution of the data enables to study forests at the scale of trees, and also to get a more accurate evaluation of the resources such as the number of stems. It would be also of important economical and environmental concerns to develop automatic tools to analyze and monitor forests.We aim at extracting tree crowns from high resolution aerial images of forests. Our approach consists in modelling the forestry images as realizations of a marked point process of ellipses, whose points are the positions of the trees and marks their geometric features. The density of this process embeds a regularization term (prior density), which introduces some interactions between the objects, and a data term, which links the objects to the features to be extracted. Our goal is to find the best configuration of an unknown number of objects, i.e. the configuration that maximizes this density. To sample the marked point process, we use Monte Carlo dynamics (Reversible Jump Markov Chain Monte Carlo), while the optimization is performed via a simulated annealing algorithm.We present here a new model for the data term. Contrary to our previous models tested on plantations images, this model is not Bayesian anymore : the data term is calculated for each object and not for the whole image. This enables us to work on more general images, with variable tree crown densities. Example results are shown on aerial images provided by the French Forest Inventory (IFN).

5 - Adaptive Simulated Annealing for Energy Minimization Problem in a Marked Point Process Application. G. Perrin and X. Descombes and J. Zerubia. In Proc. Energy Minimization Methods in Computer Vision and Pattern Recognition (EMMCVPR), St Augustine, Florida, USA, November 2005. @INPROCEEDINGS{perrin_emmcvpr05, author = {Perrin, G. and Descombes, X. and Zerubia, J.}, title = {Adaptive Simulated Annealing for Energy Minimization Problem in a Marked Point Process Application}, year = {2005}, month = {November}, booktitle = {Proc. Energy Minimization Methods in Computer Vision and Pattern Recognition (EMMCVPR)}, address = {St Augustine, Florida, USA}, pdf = {ftp://ftp-sop.inria.fr/ariana/Articles/perrin_emmcvpr.pdf}, ps = {ftp://ftp-sop.inria.fr/ariana/Articles/perrin_emmcvpr.ps.gz}, keyword = {Simulated Annealing, Marked point process, Stochastic geometry, MAP estimation, RJMCMC} } Abstract : We use marked point processes to detect an unknown number of trees from high resolution aerial images. This is in fact an energy minimization problem, where the energy contains a prior term which takes into account the geometrical properties of the objects, and a data term to match these objects to the image. This stochastic process is simulated via a Reversible Jump Markov Chain Monte Carlo procedure, which embeds a Simulated Annealing scheme to extract the best configuration of objects. We compare here different cooling schedules of the Simulated Annealing algorithm which could provide some good minimization in a short time. We also study some adaptive proposition kernels.

6 - A Marked Point Process Model for Tree Crown Extraction in Plantations. G. Perrin and X. Descombes and J. Zerubia. In Proc. IEEE International Conference on Image Processing (ICIP), Genova, Italy, September 2005. @INPROCEEDINGS{perrin_icip05, author = {Perrin, G. and Descombes, X. and Zerubia, J.}, title = {A Marked Point Process Model for Tree Crown Extraction in Plantations}, year = {2005}, month = {September}, booktitle = {Proc. IEEE International Conference on Image Processing (ICIP)}, address = {Genova}, pdf = {ftp://ftp-sop.inria.fr/ariana/Articles/perrin_icip05.pdf}, ps = {ftp://ftp-sop.inria.fr/ariana/Articles/perrin_icip05.ps.gz}, keyword = {Stochastic geometry, RJMCMC, Tree Crown Extraction, Object extraction, Marked point process} } Abstract : This work presents a framework to extract tree crowns from remotely sensed data, especially in plantation images, using stochastic geometry. We aim at finding the tree top positions, and the tree crown diameter distribution. Our approach consists in considering that these images are some realizations of a marked point process. First we model the tree plantation as a configuration of an unknown number of ellipses. Then, a Bayesian energy is defined, containing both a prior energy which incorporates the prior knowledge of the plantation geometric properties, and a likelihood which fits the objects to the data. Eventually, we estimate the global minimum of this energy using Reversible Jump Markov Chain Monte Carlo dynamics and a simulated annealing scheme. We present results on optical aerial images of poplars provided by IFN.

7 - Tree Crown Extraction using Marked Point Processes. G. Perrin and X. Descombes and J. Zerubia. In Proc. European Signal Processing Conference (EUSIPCO), University of Technology, Vienna, Austria, September 2004.

8 - Effects of nest failure and spread of laying on counts of breeding birds. Green, R. E. and Hirons, M. G. J.  In Ornis Scandinavia, vpl. 19, no 1, pp 76-78, 1988.

9 - Range of the Greater Flamingo Phoenicopterus roseus metapopulation in the Mediterranean: new insights from Turkey Balkız O., Özesmi, U.Pradel, R., Germain, C. Sıkı, M. Amat, J. A., Rendón-Martos, M.Baccetti, N. and Béchet, A. In Journal of Ornithology (in press)

10 - Nouvelles données sur la reproduction et l’hivernage des Flamants roses en Mauritanie et confirmation d’échanges avec les colonies méditerranéennes. Diawara, Y. and Arnaud, A. and Araujo, A. and Béchet, A.  In Malimbus, mars 2007 (in press)

11 - Experience and origin-mediated breeding dispersal in Greater Flamingos (Phoenicopterus roseus). Balkız Ö, Béchet A., Rouan L., Germain C., Amat J. A., Rendon Martos M., Bacetti N., Özesmi U. & Pradel R., submitted to Ecology.

12 - Anthropogenic and environmental determinants of greater flamingos breeding numbers and productivity in the Camargue. Béchet A., Germain C. & A. Johnson. submitted to Ibis.

Budget demandé :

1 stagiaire sur 6 mois : 9000 euros

1 Conférence internationale : 2500 euros

3 missions Nice-Arles  : 600 euros

1 court séjour Arles : 400 euros

2 missions Arles-Nice : 400 euros

1 court séjour Nice : 400 euros

Soit au total : 13300 euros sur 12 mois

Actions Colors antérieures du projet Ariana :

    Déconvolution (2002) : (resp. Laure Blanc Féraud) Déconvolution d'images astronomiques et satellitaires par paquets d'ondelettes complexes.
                Thématique et méthodologie différentes de la présente proposition. Cette action a débouchée sur un autre stage (internship) financé par l'OCA l'année suivante avec une étudiante du professeur Rob Nowak de Rice University aux USA.

    Arbres (2003) : (resp. Josiane Zerubia) Reconnaissance assistée par ordinateur d'arbres et de forêts sur images numériques à haute ou très haute résolution.
                Thématique différente de la présente proposition. Cette action a débouchée sur une thèse, puis sur l'ARC Mode de Vie, et enfin sur un contrat (2006-2008) avec l'Inventaire Forestier National (IFN) pour transférer le logiciel réalisé et continuer les recherches.

    FIGARO (2005) : (resp. Xavier Descombes) détection de FIlaments de GAlaxies par Reconnaissance d'Objets.
                 Thématique différente de la présente proposition. Cette action a débouchée sur un autre stage (internship ou master) financé par l'OCA en 2007.