Sujet de stage iMAGIS:
Rendu réaliste en temps réel pour un simulateur
médical
Fabrice Neyret Marie-Paule Cani-Gascuel
Le stage proposé entre dans le cadre de la réalisation
d'un simulateur d'opérations chirurgicales
par laparoscopie (chirurgie non-invasive du foie, pour lequelle deux instruments
ainsi qu'une fibre optique portant une micro-caméra sont introduits par
de petits orifices pratiqués dans le ventre du patient).
Le simulateur en réalité virtuelle a pour but de permettre
aux chirurgiens de s'entrainer à la technique laparoscopique en
général, ou de préparer une opération en
particulier.
Une plateforme de simulation assurant l'interface graphique et la gestion des
manettes à retour d'efforts existe déjà.
Nous disposons d'un maillage du foie, et travaillons
actuellement à l'amélioration de la simulation
des déformations de l'organe sous l'action des instruments.
L'objectif du stage est de traiter les aspects
rendu réaliste du simulateur.
En effet, le simulateur actuel n'affiche que des objets animés `nus',
alors que les aspects de surface sont essentiels non seulement
pour la qualité immersive de la réalité virtuelle,
mais aussi pour faciliter la perception du relief
(notamment par les textures et les reflets),
et visualiser la réaction des organes aux actions du chirurgien
(brûlure, contusion, pression).
Le stage comporte des aspects de développement
(lesquels font néanmoins appel à un minimum de créativité),
et des aspects de recherche :
- la simulation de l'aspect visuel de la surface du foie
passe par la manipulation de textures évolutives :
- le foie a tout d'abord une texture régulière à sa surface,
laquelle peut se représenter par un motif répétitif
de petite taille et de bonne résolution ;
- les évolutions de l'aspect de surface
(brûlure, contusion ou pâliement) reviennent à dessiner interactivement
dans une texture transparente superposée, de faible résolution
mais dont le motif couvre toute la surface.
Il faut alors être capable de :
- mettre en place un tel système de stockage, affichage et
traçage interactif de texture (sachant qu'une plateforme interactive 3D
existe déjà);
- traiter l'aspect évolutif de la surface
(diffusion d'une tache rouge issue d'une contusion et modélisant le
saignement, propagation d'une zone
comprimée qui pâlit ou bleuit, jaunissement puis noircissement
de la zone brûlée par le bistouri électrique)
au moyen de modèles simples mais visuellement satisfaisants;
- les éléments enrichissant l'image en indices perceptifs de relief
sont essentiellement les textures, déjà citées,
et les reflets spéculaires (taches blanches correspondant aux
reflets de la source de lumière sur les organes, lisses et humides dans cette
région).
Les modèles employés en synthèse d'image pour les effets
spéciaux utilisent une fonction de réflectance (formule de Phong)
qu'il faut évaluer en tout point de l'image, ce qui est
trop lent dans un contexte de réalité virtuelle où l'on
doit calculer une image en moins d'un vingtième de seconde
(avec l'aide du hardware graphique spécialisé, heureusement).
Par contre, une étude même superficielle du `phénomène'
des reflets nous montre que l'on peut avoir une bonne
connaissance a priori du résultat visuel, que l'on peut exploiter
pour tracer directement les reflets là où il y en a :
- les reflets se concentrent aux endroits de l'image
où la normale à la surface est la bissectrice entre
la direction de la caméra et la direction de la lumière,
c'est à dire que la très grande majorité des pixels de l'écran
ne contiennent pas de reflet (calculer en chaque pixel une formule lourde
est donc un gaspillage certain);
- dans le cas particulier de la laparoscopie, la fibre optique
contient à la fois la caméra et la source lumineuse que l'on
peut donc considérer comme confondus.
Le problème revient donc à détecter les lieux où la normale
va vers la caméra;
- la taille et les proportions de la tache spéculaire
dépendent entre autres de la courbure locale de la surface :
sur une sphère, c'est une ellipse, mais cela devient plus
compliqué pour des surfaces comprenant des parties concaves.
La programmation effective se fera en C++ et OpenGL
sur station Silicon Graphics;
notre équipe dispose notamment d'une Onyx avec
carte graphique Reality Engine.
A noter que l'une des approches possibles consiste à tirer partie
des fonctionnalités avancées de cette machine
(textures 3D et 4D, rendu multi-passe, etc).
début /
Travaux en cours /
AISIM