Ma thèse a débuté le 1er octobre 1998 sous la codirection de Patrick Rives (INRIA)
et de Vincent Rigaud (IFREMER) et est financée par l'Ifremer.

Sujet: Métrologie 3D par vision active sur des objets naturels sous-marins

 1.Description Générale:

Le sujet de cette thèse s'inscrit dans un cadre général du développement de méthodes de métrologie optique robustes applicables dans le cas d'objets 3D naturels. A ce cadre général s'ajoute les spécificités introduites par un contexte applicatif particulier : l'utilisation de ces techniques dans le cas d'objets naturels sousmarins, avec comme exemple représentatif, une application aux cheminées hydro-thermales. Afin de mener à bien cette thèse, plusieurs problèmes difficiles devront e^tre résolus : localisation et autocalibrage du ou des capteurs de vision, calcul des différents points de vue et complétude du modèle reconstruit, déplacement et stabilisation de l'engin porteur des caméras, recalage des images prises sous des conditions d'observation différentes et enfin, les problèmes spé- cifiques de traitement d'images dans des scènes naturelles difficiles (objets non structurés à forme "molle", rapport signal/bruit très faible, présence de turbulences et de mouvement propre dans la séquence d'images...).

Pour aborder ces problèmes, nous nous placerons résolumment dans une approche de type perception active. D'une fac,on générale, ce type d'approche consiste à adapter au mieux les paramètres du processus de perception en fonction des connaissances a priori ou acquises en cours d'exécution sur la tâche à réaliser. Ce type d'approche a déjà été mise en oeuvre avec succès dans le cadre du projet européen ESPRIT: UNION avec le Centre de Toulon de l'Ifremer pour le contrôle d'un ROV sous-marin durant une tâche d'inspection visuelle de pipeline.

2.Méthodologie:

Aspects traitement d'images: Pour accéder à une information tridimensionnelle sur les objets présents dans la scène, il est nécessaire de mettre en correspondance les éléments des différentes images correspondant aux me^mes partie de l'objet dans la scène, c'est le problème de l'appariement. Dans le cas des scènes et des images qui nous interessent, les méthodes classiques basées sur la mise en correspondance de primitives structurées (segment, coins) sont vouées à l'échec. Il sera donc nécessaire de mettre en oeuvre de nouvelles méthodes s'appuyant sur des caractéristiques non géométriques dans les images comme par exemple, des paramètres statistiques de texture caractérisant localement des éléments de l'objet. Nous nous appuierons pour celà, sur les techniques récentes développées en indexation de séquences d'images notamment, celles utilisant la notion d'invariants projectifs.

Une fois la phase d'appariement réalisé, le problème de la reconstruction 3D n'est pas pour autant résolu, puisqu'il nécessite une connaissance de la géométrie entre les différentes prises de vues (qu'elles
soient produites par un système multicaméras ou une caméra mobile), c'est le problème du calibrage. Là encore, le problème est extrèmement compliqué par les particularités du milieu sousmarin. En effet, il semble peu crédible d'embarquer sur un véhicule sousmarin un système de stéréovision parfaitement calibré mécaniquement et tel que ces paramètres de calibrage ne se dégradent pas durant la mission. Dans le cas de l'utilisation d'une caméra mobile, il sera également très difficile d'estimer de manière précise la géométrie des prises de vues après déplacement du véhicule. Des résultats récents sur la reconstruction dans des espaces projectifs et dans le domaine de l'autocalibration pourraient laisser espérer des approches totalement originales basées sur une reconstruction préliminaire dans un espace projectif sur lequel on plaquerait une métrique obtenue éventuellement par un capteur de nature différente (télémètre. par exemple). Nous comptons explorer ce type de techniques en nous inspirant des travaux réalisés à l'Inria de Sophia Antipolis sur les mosai"ques d'images et la réalité virtuelle.

Aspects commande et stratégie de perception: Les objets naturels sur lesquels nous serons amenés à faire de la métrologie tels que les cheminées hydro-thermales, sont complexes et leur modélisation nécessitera de contrôler le mouvement du véhicule sous-marin portant les capteurs de vision. Ce contrôle aura deux missions : assurer la stabilité du véhicule vis à vis de l'objet durant les prises de mesures et également déplacer le véhicule d'un point de vue à un autre afin d'assurer la complétude de la modélisation. Notre expérience dans le cadre du contrôle par asservissement visuel du véhicule VORTEX de l'Ifremer à Toulon, tout en nous ayant permis d'appréhender la difficulté du problème, nous a confirmé dans la validité de ce type de techniques. Nous comptons donc utiliser ces méthodes d'asservissement visuel afin de contrôler à tout moment l'attitude du véhicule face à l'objet observé. Pour celà, il sera nécessaire de transposer les techniques précédemment utilisées dans le cas d'objets structurés au cas des objets 3D non structurés. Il s`agit là d'un des points clés de cette thèse dont la résolution pourrait ouvrir la voie à de nombreuses autres applications en robotique sousmarine notamment pour des problèmes de navigation référencée terrain à base d'imagerie. Nous explorerons des approches de représentation de l'image hybrides (à la fois basée modèle et donnée et codant à la fois les caractéristiques locales et globales de la scène) comma par exemple, un graphe dont la structure capturera les propriétés de rigidité globale de l'objet alors que les noeuds correspondront aux propriétés locales (indices visuels) de régions caractéristiques de l'objet telles que nous les avons définies dans la paragraphe précédent. Ce sont ces indices visuels qui serviront d'entrée de commande au schéma d'asservissement visuel. Nous espérons par ce biais pouvoir stabiliser en position et orientation le système de vision face à n'importe quel objet naturel. Concernant l'aspect sélection de points de vues, les travaux en géométrie algorithmique réalisés par le projet PRISME de L'Inria-Sophia Antipolis dans le domaine du probing semblent un point de départ interessant pour la recherche des points de vues permettant d'assurer une reconstruction complète de l'objet. Nous comptons étudier ce point en collaboration étroite avec eux.

3.Validation et expérimentations:

Il est extre^mement important que les développements théoriques soient validés sur des données réelles au travers d'expérimentations en vrai grandeur. Depuis maintenant près de dix ans, au cours de nos collaborations avec le centre robotique de l'Ifremer à Toulon, cet objectif a toujours été mis en avant et satisfait. Nous comptons donc travailler sur ce sujet en étroite liaison avec nos partenaires Ifremer de Toulon. Sur les aspects traitements d'images les algorithmes seront mis au point en concertation et sur des images fournies par eux. Sur les aspects contrôle du véhicule, les développements seront réalisés en partie sur nos moyens propres (un robot mobile équipé d'un bras manipulateur et doté de capteurs variés: vision, télémétrie ultrason et télémétrie laser) pour des raisons de cou^t et de facilité de mise au point. Une fois mis au point, une validation à Toulon sur un des véhicules sousmarins de l'Ifremer sera réalisée.

4 Domaine d'application et prolongements potentiels:

ffl modélisation d'objets "naturels" sous marin à base d'image vidéo permettant de réaliser des

tâches de métrologie (calcul de débit d'écoulements, de surface, de volume,etc...) ffl méthodes de représentation d'objets "naturels", ffl asservissement visuel d'un véhicule autonome en environnement "naturel", ffl localisation et navigation référencée terrain à base d'images vidéos

5 Références se rapportant au sujet:

[1] Espiau B., Chaumette F., Rives P. : A New Approach to Visual Servoing in Robotics, IEEE
Trans. on Robotics and Automation, Vol. 8, No. 3, June 1992

[2] P. Rives, R. Pissard-Gibollet, L. Pelletier : Sensor-based Tasks: From the Specification to the
Control Aspects 2nd World Automatic Conference, ISRAM, Montpellier, May 1996

[3] P. Rives, J.J. Borrelly, J. Gallice, P. Martinet : A Versatile Parallel Architecture for Vision
Based Applications, Workshop on Computer Architecture for Machine Perception, New Orleans, Dec 15-17, 1993

[4] P. Rives and J.J. Borrelly : Visual Servoing Techniques Applied to an Underwater Vehicle, Int.
Conf. on Robotics and Automation, Albuquerque, NM, USA, 1997

[5] D. Djian, P. Probert and P. Rives :Active Sensing Using Bayes Nets, 7th Int. Conference on
Advanced Robotics, Sant Feliu de Guixols, Spain, September 1995.

[6] R. Pissard-Gibollet and P. Rives :Applying Visual Servoing Techniques to Control a Mobile
Hand-Eye System, IEEE Int. Conference on Robotics and Automation, Nagoya, Japan, May 1995

[7] A. Santos, P. Rives, B. Espiau and D. Simon :Dealing in Real Time with A Priori Unknown
Environment on Autonomous Underwater Vehicles (AUVs), IEEE Int. Conference on Robotics and Automation, Nagoya, Japan, May 1995

[8] D.P. Tsakiris, P. Rives, C. Samson :Extended Visual Servoing Techniques to Nonholonomic Mobile
Robots in "The Confluence of Vision and Control" Ed. Kriegman, SPRINGER VERLAG, 1998

Francois-Xavier.Espiau@sophia.inria.fr