Un nouvel algorithme de reconnaissance encore plus simple et efficace.

Les deux algorithmes candidats pour expliquer ce mécanisme cérébral utilisent l'ordre dans lequel les neurones déchargent, et font tous les deux appel au fait que ces les neurones les plus activés qui déchargent en premier. Or, les deux algorithmes diffèrent dans leur implémentation précise. L'algorithme original proposé par (Thorpe et Gautrais, 1997, 1998) utilise l'ordre précis dans lequel les neurones déchargent, alors que la nouvelle algorithme ne prend en compte que l'identité des premiers neurones à décharger, et non pas leur ordre exacte.
Il semblerait que dans de nombreux cas, il n'est pas du tout nécessaire d'utiliser l'ordre d'activation de toutes les entrées. En effet, lorsque le nombre d'entrées est important (ce qui est habituellement le cas dans des problèmes de traitement visuel), il suffit de prendre en compte juste les quelques pourcents de neurones qui déchargent en premier car la nombre de combinaisons possibles et déjà suffisamment riche pour obtenir une représentation satisfaisante. Prenons, par exemple, un neurone qui reçoit 100 entrées. Supposons que lorsqu'un stimulus est présenté, seul 10% de ces neurones en entrée peuvent décharger. Le nombre total de combinaisons de 10 neurones actifs parmi 100 est égale à 10C100, ce qui vaux 1.73 * 1013, un chiffre presque équivalent au nombre d'ordres d'activation  différent que l'on peut obtenir avec 8 neurones.
Ainsi, alors que l'algorithme original utilise l'ordre de décharge de toutes les entrées pour encoder un stimulus, notre nouvel algorithme n'utilise qu'un pourcentage fixe des entrées, ce qui simplifie beaucoup le problème. De plus, alors que l'algorithme original utilise l'ordre précis d'activation des neurones, la nouvelle version ne s'intéresse qu'à l'identité des neurones qui décharge rapidement, et non pas l'ordre d'activation précis.
Il existe une autre raison pour s'intéresser à ce nouvel algorithme. Depuis un an, Rudy Guyonneau (étudiant en première année de thèse et financé par une bourse CIFRE) a travaillé avec Rufin VanRullen sur des règles d'apprentissage basé sur le concept de Spike-Time Dependent Plasticity (STDP). Selon ce type de modèle, la modification des poids synaptiques par l'apprentissage dépende spécifiquement de l'intervalle temporel entre l'activation d'une synapse pré-synaptique et la date d'un potentiel d'action dans le neurone post-synaptique. En gros, si un synapse est active dans la dizaine de millisecondes qui précèdent un spike, son poids est augmenté, alors que s'il son activation est produite dans la période juste après le spike, son poids décrémente. Guyonneau et VanRullen ont montré par une série de simulations informatique, qu'une telle règle produit une situation où tous les poids se concentrent sur les entrées qui déchargeaient en premier lors de la phase d'apprentissage. Ceci est exactement ce que l'on préconise avec le nouvel algorithme de reconnaissance que nous avons formulé pour SpikeNet. Il y a donc une convergence remarquable  entre les résultats de nos travaux de modélisation avec SpikeNet et notre analyse des implications des règles neurobiologiques de l'apprentissage.

Complexité statistique et les conséquences algorithmiques qui en  découlent.

  En ce qui concerne le problème de la classification de données, il est connu que les classificateurs efficaces sont ceux qui prennent en compte un  nombre réduit de paramètres pertinents. Cela semble en contradiction  avec  les  modèles biologiquement plausibles, basés sur des réseaux de neurones,  qui ont  -de par leur définition- un très grand nombre de paramètres.
  Ici, nous proposions de résoudre ce paradoxe apparent en construisant  un lien  entre des modèles biologiquement plausibles et des classificateurs ayant une  faible dimension de Vapnik-Chernovenkis. Il est alors clairement apparu que  les modèles de Thorpe avaient des dimensions de Vapnik-Chernovenkis  réduites de  l'ordre de 100 à comparer à celle de réseaux de neurones dont la dimension  peut-être au carré de leur nombre de neurones, donc immense.
 Contrairement à l'usage usuel de réseaux à très grande échelle avec un  nombre  énorme de variables (avec assez de degrés de liberté on peut risquer de  faire  tout et . . n'importe quoi) le modèle de Thorpe contraint fortement  l'espace  d'état (quantification des variables et limitation du nombre de degrés de  liberté effectifs).
 Le modèle de Thorpe a ceci de particulier qu'il peut se mettre sous une  forme  équivalente simple où seul l'ordre des spikes et non pas leur délai en  milli-secondes caractérise l'état du système. Cette propriété a été  exploitée ici pour valider ces aspects et faire le lien avec les outils  théoriques cités.
 Ce résultat très théorique a aussi des conséquences pratiques très  importantes, car il a aussi permis de mettre en place un mécanisme  algorithmique prometteur: l'idée, finalement assez simple, est de  considérer  des classificateurs du plus proche voisin ``optimisés'', géométriquement  linéaires par morceaux de dimension minimale, en tant que  généralisation des  machines à vecteurs supports (support-vector machine), proposés par  Vapnik.
 Cela permet de résoudre le précédent dilemme à la fois au niveau  théorique et algorithmique, ainsi que de discuter la plausibilité  biologique  de tels mécanismes. Une expérimentation sur un petit logiciel interactif de  démonstration permet d'analyser les performances de ces mécanismes qui sont  aussi validés sur des problèmes réels utilisés sur d'autres classificateurs  existants. De plus, si dans les réseaux classiques à la Hopfield la stabilité est une  propriété connue et facile à établir, le nouveau modèle - lors de la phase  d'apprentissage - met en oeuvre des mécanismes itératifs qui n'avaient  aucune  raison ni de converger vers la solution souhaitée, ni même de converger  tout  court. Avec le cadre proposé, l'``apprentissage'' se formalise comme la  minimisation d'un critère dit de Guermeur, convexe, donc dont la minimisation  est mise en oeuvre de manière fiable et convergente, de fait.
 Ce mécanisme se présente comme une sorte de règle de Hebb dont la  plausibilité biologique est reconnue depuis quelques années.
Publications:

• Viéville T., Crahay S, 2002, A deterministic biologically plausible classifier. (INRIA Research Report, 4489, Journal of Computational Neuroscience, (in review), Communication au  Computational Neuroscience Meeting, Elevier, in press).
• Viéville T., 2003, SVM et modèle biologique de reconnaissance  visuelle, Journées thématique "Support Vector  Machines et méthodes ànoyau", ENST, Paris.