Visualisation interactive de traces de simulation de réseaux neurones matériels à impulsions

Abstract

Les architectures neuromorphiques sont des approches prometteuses pour réduire significativement la consommation énergétique des ordinateurs de demain et de l’ère post-Moore. La fonction cérébrale est l’inspiration derrière cette architecture, consistant en des réseaux de neurones artificiels à impulsion. Du fait de leur faible consommation énergétique, le déploiement de telles architectures est utile dans de nombreuses applications, notamment celles ayant des contraintes énergétiques limitées. De plus, grâce à cette architecture, nous pouvons traiter une grande quantité de données et fournir la puissance de calcul nécessaire aux tâches d’apprentissage automatique. Les architectures neuromorphiques consistent en des réseaux de neurones impulsionnels (SNN) inspirés des fonctionnalités cérébrales avec de nombreuses questions ouvertes. Cette situation impacte la mise en place de réseaux de neurones à impulsions et leurs performances par rapport aux réseaux de neurones classiques. De plus, dans les SNN, de nombreuses questions sont encore ouvertes, par exemple: comment se passe l’apprentissage et quelle règle d’apprentissage est la plus appropriée, l’emplacement de la mémoire dans ces réseaux et comment cela fonctionne, et comment le réseau représente les informations à l’aide d’impulsions. De telles questions liées aux neurosciences empêchent les SNN de fonctionner comme les réseaux conventionnels. Par conséquent, pour mieux comprendre les différents phénomènes dans les SNN, nous devons analyser l’activité interne du réseau lors de la simulation. L’activité du réseau consiste en celle des impulsions, des neurones et des synapses. Lors de la simulation, nous générons une trace de simulation difficile à analyser en raison de sa taille et de son aspect spatio-temporel, que nous pouvons étudier à plusieurs échelles. Ce manuscrit vise à étudier l’analyse visuelle des réseaux de neurones impulsionnels en visualisant la trace collectée à partir d’une simulation. L’objectif principal est de mieux comprendre les différents phénomènes du réseau et d’améliorer le réseau à l’aide d’analyses visuelles. La première contribution est l’étude des techniques de visualisation dans les simulateurs SNN. Cette étude du point de vue technique et visualisation des simulateurs a mis en lumière la diversité des technologies utilisées. Par ailleurs, cette étude montre également la similarité des techniques de visualisation fournies par les simulateurs. À la fin de cette étude, nous avons conclu qu’il nous faut des outils dédiés pour analyser la trace fournie par les simulateurs. Ensuite, nous avons développé VS2N. Un outil basé sur technologie Web pour la visualisation et l’analyse dynamiques interactives post-mortem des réseaux de neurones à impulsions. La nouveauté de VS2N par rapport aux outils d’analyse visuelle existants peut être résumée en quatre points : sa nature modulaire, son indépendance par rapport au simulateur, son scalabilité et ses capacités en analyse dynamique. De plus, VS2N offre la possibilité de fonctionner sur le réseau en cours de simulation, ce qui n’est pas possible avec les outils existants. Cette caractéristique est importante à noter surtout pour les longues simulations, ce qui est souvent le cas pour les réseaux de neurones à impulsions. Enfin, nous avons proposé une nouvelle approche pour compresser un réseau de neurones à impulsions basée sur l’analyse visuelle menée sur les SNN. Cette approche de compression dynamique concerne les synapses du réseau en proposant deux formules pour calculer le seuil dynamique, qui évolue en fonction de l’état de compression précédente, au lieu d’avoir un seuil statique comme c’est le cas dans les travaux existants. Cette approche peut maintenir ou améliorer la performance du réseau par rapport au réseau non compressé tout en compressant jusqu’à 80%.