Réseau de neurones artificiels sans-multiplication avec calcul dans la mémoire en technologie 28nm CMOS FDSOI pour applications biomédicales embarquées.

Abstract

Les techniques d’intelligence artificielle (AI), et plus particulièrement les réseaux de neurones artificiels (ANNs), constituent une tendance forte de l’industrie électronique pour des domaines applications variés tels que les appareils connectés, le biomédical ou l’industrie.La grande majorité des ANNs reposent sur des modèles calculatoires et des opérations de multiplication et d’addition ou d’accumulation (MAC), cette thèse se concentre sur les réseaux feed-forward fully connected (FNN) qui sont certainement avec les réseaux convolutifs (CNN) le type de réseau le plus commun. La piste la plus directe et la plus efficace pour réduire le coût d’intégration des ANNs est donc de réduire le coût de ces opérations MACs, la métrique de référence pour l’efficacité énergétique d’un système de calcul est le TOPS/W. Si l’on considère un neurone que l’on peut penser comme une unité de calcul de base équivalente à un nombre défini de MACs, dans notre contexte il se trouve que le coût d’intégration hardware des MACs est dominé par le coût des produits poids features et donc des opérations de multiplications en particulier. Dans cette thèse, les poids de l’ANN sont quantifiés avec une méthode non-uniforme logarithmique ce qui permet de remplacer en pratique l’opération de multiplication par une opération de décalage de bit beaucoup moins gourmande en surface de silicium et de consommation d’énergie avec une dégradation limitée de la performance de classification. De plus, cette approche de quantification permet d’encoder sur 4 bits une donnée avec une résolution équivalente de 8 bits.Au niveau architectural l’efficacité énergétique du neurone est améliorée grâce à l’utilisation d’une architecture non-conventionnelle avec traitement du calcul en mémoire (IMC). Dans une implémentation classique basée sur l’architecture von-Neumann (VN) il est nécessaire de constamment échanger des données entre un tableau mémoire et les éléments de calculs, ces échanges mémoire ont un coût et limitent à la fois l’efficacité énergétique et le temps nécessaire pour réaliser un calcul ou une inférence, à l’inverse une architecture IMC repose sur un schéma exempt de mouvement de données entre la mémoire et les éléments de calcul. Ce mode de calcul permet à l’architecture IMC des gains d’énergie et de temps d’opération pour un même calcul, la contrainte étant d’intégrer les éléments de calculs dans le tableau mémoire au plus près des cellules mémoires (SRAM, DRAM…) sans interfaçage ou avec l’interface la plus limitée possible.Dans l’objectif de réaliser des opérations multi-layers sur une surface limitée et à moindre coût énergétique une approche itérative est implémentée : un layer unique est physiquement implémenté avec chaque élément de calcul lié à quatre différents points mémoires ce qui permet de calculer en boucle sur ce même layer unique jusqu’à quatre layers successifs par l’intermédiaire d’un système combinant logique à trois états et concurrence de données sur des lignes communes.Un FNN de dimensions maximale 32x32x32x32 soit 4 layers successifs de 32 neurones implémenté physiquement sous la forme d’un layer itératif unique de 32 neurones a été conçu en technologie 28nm fully-depleted silicon on insulator (FDSOI) et intégré sur puce. Un layer de test de 2 neurones seulement a aussi été implémenté sur puce afin d’étudier et mesurer la performance d’un neurone unitaire ainsi que les effets de mise à l’échelle pour un réseau de plus grande dimension. Les résultats de simulation donnent une efficacité énergétique du réseau 32x32x32x32 de 26.7 TOPS/W pour une inférence mono-layer et de 22.8 TOPS/W pour une inférence sur 4 layers successifs. Le fonctionnement du réseau a été validé en utilisant trois cas applicatifs différents : l’apnée du sommeil et l’arythmie cardiaque ainsi qu’une classification d’images utilisant la base de données MNIST afin de démontrer la flexibilité applicative et la généricité de la solution.