Rendu réaliste en temps réel pour un simulateur médical

Une plateforme de simulation assurant l'interface graphique et la gestion des manettes à retour d'efforts existe déjà. Nous disposons d'un maillage du foie, et travaillons actuellement à l'amélioration de la simulation des déformations de l'organe sous l'action des instruments.

L'objectif du stage est de traiter les aspects rendu réaliste du simulateur.
En effet, le simulateur actuel n'affiche que des objets animés `nus', alors que les aspects de surface sont essentiels non seulement pour la qualité immersive de la réalité virtuelle, mais aussi pour faciliter la perception du relief (notamment par les textures et les reflets), et visualiser la réaction des organes aux actions du chirurgien (brûlure, contusion, pression).

Le stage comporte des aspects de développement (lesquels font néanmoins appel à un minimum de créativité), et des aspects de recherche :

• la simulation de l'aspect visuel de la surface du foie passe par la manipulation de textures évolutives :
  • le foie a tout d'abord une texture régulière à sa surface, laquelle peut se représenter par un motif répétitif de petite taille et de bonne résolution ;
  • les évolutions de l'aspect de surface (brûlure, contusion ou pâliement) reviennent à dessiner interactivement dans une texture transparente superposée, de faible résolution mais dont le motif couvre toute la surface. Il faut alors être capable de :
    • mettre en place un tel système de stockage, affichage et traçage interactif de texture (sachant qu'une plateforme interactive 3D existe déjà);
    • traiter l'aspect évolutif de la surface (diffusion d'une tache rouge issue d'une contusion et modélisant le saignement, propagation d'une zone comprimée qui pâlit ou bleuit, jaunissement puis noircissement de la zone brûlée par le bistouri électrique) au moyen de modèles simples mais visuellement satisfaisants;

• les éléments enrichissant l'image en indices perceptifs de relief sont essentiellement les textures, déjà citées, et les reflets spéculaires (taches blanches correspondant aux reflets de la source de lumière sur les organes, lisses et humides dans cette région). Les modèles employés en synthèse d'image pour les effets spéciaux utilisent une fonction de réflectance (formule de Phong) qu'il faut évaluer en tout point de l'image, ce qui est trop lent dans un contexte de réalité virtuelle où l'on doit calculer une image en moins d'un vingtième de seconde (avec l'aide du hardware graphique spécialisé, heureusement). Par contre, une étude même superficielle du `phénomène' des reflets nous montre que l'on peut avoir une bonne connaissance a priori du résultat visuel, que l'on peut exploiter pour tracer directement les reflets là où il y en a :
  • les reflets se concentrent aux endroits de l'image où la normale à la surface est la bissectrice entre la direction de la caméra et la direction de la lumière, c'est à dire que la très grande majorité des pixels de l'écran ne contiennent pas de reflet (calculer en chaque pixel une formule lourde est donc un gaspillage certain);
  • dans le cas particulier de la laparoscopie, la fibre optique contient à la fois la caméra et la source lumineuse que l'on peut donc considérer comme confondus. Le problème revient donc à détecter les lieux où la normale va vers la caméra;
  • la taille et les proportions de la tache spéculaire dépendent entre autres de la courbure locale de la surface : sur une sphère, c'est une ellipse, mais cela devient plus compliqué pour des surfaces comprenant des parties concaves.

La programmation effective se fera en C++ et OpenGL sur station Silicon Graphics; notre équipe dispose notamment d'une Onyx avec carte graphique Reality Engine. A noter que l'une des approches possibles consiste à tirer partie des fonctionnalités avancées de cette machine (textures 3D et 4D, rendu multi-passe, etc).