Visualisation interactive de traces de ...
Document type :
Thèse
Title :
Visualisation interactive de traces de simulation de réseaux neurones matériels à impulsions
English title :
Interactive Analysis of Spiking Neural Networks Simulation Traces
Author(s) :
Thesis director(s) :
Pierre Boulet
Kamel Benhaoua
Kamel Benhaoua
Defence date :
2022-06-20
Accredited body :
University of Lille
University of Mascara
University of Mascara
Keyword(s) :
Réseau de neurones à impulsion
Visualisation
Science des données
Mégadonnées
Analyse interactive
Visualisation
Science des données
Mégadonnées
Analyse interactive
English keyword(s) :
Spiking neural network
Visualization
Data Science
Big Data
Interactive analysis
Visualization
Data Science
Big Data
Interactive analysis
HAL domain(s) :
Informatique [cs]/Intelligence artificielle [cs.AI]
French abstract :
Les architectures neuromorphiques sont des approches prometteuses pour réduire significativement la consommation énergétique des ordinateurs de demain et de l’ère post-Moore. La fonction cérébrale est l’inspiration derrière ...
Show more >Les architectures neuromorphiques sont des approches prometteuses pour réduire significativement la consommation énergétique des ordinateurs de demain et de l’ère post-Moore. La fonction cérébrale est l’inspiration derrière cette architecture, consistant en des réseaux de neurones artificiels à impulsion. Du fait de leur faible consommation énergétique, le déploiement de telles architectures est utile dans de nombreuses applications, notamment celles ayant des contraintes énergétiques limitées. De plus, grâce à cette architecture, nous pouvons traiter une grande quantité de données et fournir la puissance de calcul nécessaire aux tâches d’apprentissage automatique. Les architectures neuromorphiques consistent en des réseaux de neurones impulsionnels (SNN) inspirés des fonctionnalités cérébrales avec de nombreuses questions ouvertes. Cette situation impacte la mise en place de réseaux de neurones à impulsions et leurs performances par rapport aux réseaux de neurones classiques. De plus, dans les SNN, de nombreuses questions sont encore ouvertes, par exemple: comment se passe l’apprentissage et quelle règle d’apprentissage est la plus appropriée, l’emplacement de la mémoire dans ces réseaux et comment cela fonctionne, et comment le réseau représente les informations à l’aide d’impulsions. De telles questions liées aux neurosciences empêchent les SNN de fonctionner comme les réseaux conventionnels. Par conséquent, pour mieux comprendre les différents phénomènes dans les SNN, nous devons analyser l’activité interne du réseau lors de la simulation. L’activité du réseau consiste en celle des impulsions, des neurones et des synapses. Lors de la simulation, nous générons une trace de simulation difficile à analyser en raison de sa taille et de son aspect spatio-temporel, que nous pouvons étudier à plusieurs échelles. Ce manuscrit vise à étudier l’analyse visuelle des réseaux de neurones impulsionnels en visualisant la trace collectée à partir d’une simulation. L’objectif principal est de mieux comprendre les différents phénomènes du réseau et d’améliorer le réseau à l’aide d’analyses visuelles. La première contribution est l’étude des techniques de visualisation dans les simulateurs SNN. Cette étude du point de vue technique et visualisation des simulateurs a mis en lumière la diversité des technologies utilisées. Par ailleurs, cette étude montre également la similarité des techniques de visualisation fournies par les simulateurs. À la fin de cette étude, nous avons conclu qu’il nous faut des outils dédiés pour analyser la trace fournie par les simulateurs. Ensuite, nous avons développé VS2N. Un outil basé sur technologie Web pour la visualisation et l’analyse dynamiques interactives post-mortem des réseaux de neurones à impulsions. La nouveauté de VS2N par rapport aux outils d’analyse visuelle existants peut être résumée en quatre points : sa nature modulaire, son indépendance par rapport au simulateur, son scalabilité et ses capacités en analyse dynamique. De plus, VS2N offre la possibilité de fonctionner sur le réseau en cours de simulation, ce qui n’est pas possible avec les outils existants. Cette caractéristique est importante à noter surtout pour les longues simulations, ce qui est souvent le cas pour les réseaux de neurones à impulsions. Enfin, nous avons proposé une nouvelle approche pour compresser un réseau de neurones à impulsions basée sur l’analyse visuelle menée sur les SNN. Cette approche de compression dynamique concerne les synapses du réseau en proposant deux formules pour calculer le seuil dynamique, qui évolue en fonction de l’état de compression précédente, au lieu d’avoir un seuil statique comme c’est le cas dans les travaux existants. Cette approche peut maintenir ou améliorer la performance du réseau par rapport au réseau non compressé tout en compressant jusqu’à 80%.Show less >
Show more >Les architectures neuromorphiques sont des approches prometteuses pour réduire significativement la consommation énergétique des ordinateurs de demain et de l’ère post-Moore. La fonction cérébrale est l’inspiration derrière cette architecture, consistant en des réseaux de neurones artificiels à impulsion. Du fait de leur faible consommation énergétique, le déploiement de telles architectures est utile dans de nombreuses applications, notamment celles ayant des contraintes énergétiques limitées. De plus, grâce à cette architecture, nous pouvons traiter une grande quantité de données et fournir la puissance de calcul nécessaire aux tâches d’apprentissage automatique. Les architectures neuromorphiques consistent en des réseaux de neurones impulsionnels (SNN) inspirés des fonctionnalités cérébrales avec de nombreuses questions ouvertes. Cette situation impacte la mise en place de réseaux de neurones à impulsions et leurs performances par rapport aux réseaux de neurones classiques. De plus, dans les SNN, de nombreuses questions sont encore ouvertes, par exemple: comment se passe l’apprentissage et quelle règle d’apprentissage est la plus appropriée, l’emplacement de la mémoire dans ces réseaux et comment cela fonctionne, et comment le réseau représente les informations à l’aide d’impulsions. De telles questions liées aux neurosciences empêchent les SNN de fonctionner comme les réseaux conventionnels. Par conséquent, pour mieux comprendre les différents phénomènes dans les SNN, nous devons analyser l’activité interne du réseau lors de la simulation. L’activité du réseau consiste en celle des impulsions, des neurones et des synapses. Lors de la simulation, nous générons une trace de simulation difficile à analyser en raison de sa taille et de son aspect spatio-temporel, que nous pouvons étudier à plusieurs échelles. Ce manuscrit vise à étudier l’analyse visuelle des réseaux de neurones impulsionnels en visualisant la trace collectée à partir d’une simulation. L’objectif principal est de mieux comprendre les différents phénomènes du réseau et d’améliorer le réseau à l’aide d’analyses visuelles. La première contribution est l’étude des techniques de visualisation dans les simulateurs SNN. Cette étude du point de vue technique et visualisation des simulateurs a mis en lumière la diversité des technologies utilisées. Par ailleurs, cette étude montre également la similarité des techniques de visualisation fournies par les simulateurs. À la fin de cette étude, nous avons conclu qu’il nous faut des outils dédiés pour analyser la trace fournie par les simulateurs. Ensuite, nous avons développé VS2N. Un outil basé sur technologie Web pour la visualisation et l’analyse dynamiques interactives post-mortem des réseaux de neurones à impulsions. La nouveauté de VS2N par rapport aux outils d’analyse visuelle existants peut être résumée en quatre points : sa nature modulaire, son indépendance par rapport au simulateur, son scalabilité et ses capacités en analyse dynamique. De plus, VS2N offre la possibilité de fonctionner sur le réseau en cours de simulation, ce qui n’est pas possible avec les outils existants. Cette caractéristique est importante à noter surtout pour les longues simulations, ce qui est souvent le cas pour les réseaux de neurones à impulsions. Enfin, nous avons proposé une nouvelle approche pour compresser un réseau de neurones à impulsions basée sur l’analyse visuelle menée sur les SNN. Cette approche de compression dynamique concerne les synapses du réseau en proposant deux formules pour calculer le seuil dynamique, qui évolue en fonction de l’état de compression précédente, au lieu d’avoir un seuil statique comme c’est le cas dans les travaux existants. Cette approche peut maintenir ou améliorer la performance du réseau par rapport au réseau non compressé tout en compressant jusqu’à 80%.Show less >
English abstract : [en]
Neuromorphic architectures are promising approaches to significantly reduce the energy consumption for tomorrow’s computers and the post-Moore era. The brain function is the inspiration behind this architecture, consisting ...
Show more >Neuromorphic architectures are promising approaches to significantly reduce the energy consumption for tomorrow’s computers and the post-Moore era. The brain function is the inspiration behind this architecture, consisting of spiking artificial neural networks. Due to low energy consumption, deploying such architectures is useful in many applications, especially those with energy-limited constraints. Furthermore, using this architecture, we can process a large quantity of data and provide the computation power needed for machine learning tasks. Neuromorphic architectures consist of spiking artificial neural networks inspired by the brain functionalities with many open questions. This situation impacts the implementation of artificial spiking neural networks and their performance compared to conventional neural networks. Moreover, in SNN, many questions are still debatable, like how the learning is happening and what learning rule is the most suitable, memory location in such networks and how it works, and how the network encodes the information using spikes. Such neuroscience-related questions prevent spiking neural networks from performing like the conventional ones. Therefore, to better understand the different phenomena in SNN, we need to analyze the internal network activity during the simulation. The network activity contains the spikes, neurons, and synapses states activity. When simulating a large network that takes time and resources to finish, we generate a large simulation trace that is challenging to analyze due to its size and spatio-temporal aspect, which we can study at several scales. This manuscript aims to study the visual analysis of spiking neural networks by visualizing the collected trace from a simulation. The primary objective is to better understand the different network phenomena and improve the network using visual analysis. The first contribution is the study of the visualization techniques in SNN simulators. This study from the technical and visualization aspect of the simulators shed light on the diversity of the used technologies. Furthermore, this study also shows the similarity of the visualization techniques provided by the simulators. At the end of this study, we concluded that we need more dedicated tools to analyze than what simulators provide for visual analysis. Next, we developed VS2N (Visualization tool for Spiking Neural Networks). A web-based tool for post-mortem interactive dynamic visualization and analysis of spiking neural networks. The novelty of VS2N compared to the existing visual analysis tools can be summarized in four points: modular nature, simulator-independent, scalability, and dynamic analytics. In addition, VS2N provides the possibility to walk in time with the evolution of the network during activity, which is not possible using the existing tools. This feature is significant when the network evolution is over hours of activity, which is the case in spiking neural networks. Finally, we proposed a novel approach to compress a spiking neural network based on the visual analysis conducted on SNN. This dynamic compression approach concerns the synapses in the network by providing two formulas to calculate the dynamic threshold, which changes based on the compression status, instead of having a static threshold which is the case in the existing works. This approach can maintain or improve the network accuracy compared to the non-compressed network while compressing up to 80%.Show less >
Show more >Neuromorphic architectures are promising approaches to significantly reduce the energy consumption for tomorrow’s computers and the post-Moore era. The brain function is the inspiration behind this architecture, consisting of spiking artificial neural networks. Due to low energy consumption, deploying such architectures is useful in many applications, especially those with energy-limited constraints. Furthermore, using this architecture, we can process a large quantity of data and provide the computation power needed for machine learning tasks. Neuromorphic architectures consist of spiking artificial neural networks inspired by the brain functionalities with many open questions. This situation impacts the implementation of artificial spiking neural networks and their performance compared to conventional neural networks. Moreover, in SNN, many questions are still debatable, like how the learning is happening and what learning rule is the most suitable, memory location in such networks and how it works, and how the network encodes the information using spikes. Such neuroscience-related questions prevent spiking neural networks from performing like the conventional ones. Therefore, to better understand the different phenomena in SNN, we need to analyze the internal network activity during the simulation. The network activity contains the spikes, neurons, and synapses states activity. When simulating a large network that takes time and resources to finish, we generate a large simulation trace that is challenging to analyze due to its size and spatio-temporal aspect, which we can study at several scales. This manuscript aims to study the visual analysis of spiking neural networks by visualizing the collected trace from a simulation. The primary objective is to better understand the different network phenomena and improve the network using visual analysis. The first contribution is the study of the visualization techniques in SNN simulators. This study from the technical and visualization aspect of the simulators shed light on the diversity of the used technologies. Furthermore, this study also shows the similarity of the visualization techniques provided by the simulators. At the end of this study, we concluded that we need more dedicated tools to analyze than what simulators provide for visual analysis. Next, we developed VS2N (Visualization tool for Spiking Neural Networks). A web-based tool for post-mortem interactive dynamic visualization and analysis of spiking neural networks. The novelty of VS2N compared to the existing visual analysis tools can be summarized in four points: modular nature, simulator-independent, scalability, and dynamic analytics. In addition, VS2N provides the possibility to walk in time with the evolution of the network during activity, which is not possible using the existing tools. This feature is significant when the network evolution is over hours of activity, which is the case in spiking neural networks. Finally, we proposed a novel approach to compress a spiking neural network based on the visual analysis conducted on SNN. This dynamic compression approach concerns the synapses in the network by providing two formulas to calculate the dynamic threshold, which changes based on the compression status, instead of having a static threshold which is the case in the existing works. This approach can maintain or improve the network accuracy compared to the non-compressed network while compressing up to 80%.Show less >
Language :
Anglais
Collections :
Source :
Files
- document
- Open access
- Access the document
- 117106_ELBEZ_2022_archivage.pdf
- Open access
- Access the document