Reconnaisance de gestes dynamiques de la main - De la création de descripteurs aux récentes méthodes d’apprentissage profond

Abstract

Les gestes de la main sont le moyen de communication non verbal le plus naturel et le plus intuitif lorsqu’il est question d’interaction avec un ordinateur. Les efforts de recherche qui y sont liés ont récemment relancé son intérêt. De plus, les données fournies par des caméras de pro- fondeur actuellement commercialisées à des prix abordables peuvent être exploitées dans une large variété de systèmes de reconnaissance de gestes. L’analyse des gestes de la main s’appuie sur l’estimation de la pose de la main et la reconnaissance de gestes. L’estimation de la pose de la main est considérée comme étant un défi plus important que l’estimation de la pose de n’importe quelle autre partie du corps du fait de la petite taille d’une main, de sa plus grande complexité et de ses nombreuses occultations. Par ailleurs, le développement d’un système précis de reconnaissance des gestes de la main est également difficile du fait des grandes dissimilarités entre les gestes dérivant de facteurs ad-hoc, culturels et/ou individuels in- hérents aux acteurs. Dans un premier temps, nous proposons un système original pour représenter les gestes de la main en utilisant des descrip- teurs de forme de main et de mouvement calculés sur des caractéristiques de squelette de main 3D. Nous utilisons une pyramide temporelle pour modéliser la dynamique des gestes et une machine à vecteurs de support (SVM) pour effectuer la classification. De plus, nous proposons une base de données de gestes de mains dynamiques contenant 2800 séquences de 14 types de gestes. Les résultats montrent une utilisation prometteuse des données de squelette pour reconnaître des gestes de la main. Des ex- périmentations sont menées sur trois ensembles de données, contenant un ensemble de gestes hétérogènes fins et grossiers. En outre, les résultats de notre approche en termes de latence ont démontré que notre système peut reconnaître un geste avant sa fin. Dans un second temps, nous étendons l’étude de l’analyse des gestes de main à une reconnaissance en ligne. En utilisant une approche d’apprentissage profond, nous employons une stratégie de transfert d’apprentissage afin d’entrainer des caractéristiques de pose et de forme de la main à partir d’images de profondeur d’une base de données crée à l’origine pour un problème d’estimation de la pose de la main. Nous modélisons ensuite les variations temporelles des poses de la main et de ses formes grâce à une methode d’apprentissage profond récurrente. Enfin, les deux informations sont fusionnées pour effectuer une détection préalable et une reconnaissance précise des gestes de main. Des expériences menées sur deux ensembles de données ont démontré que l’approche proposée est capable de détecter un geste qui se produit et de reconnaître son type bien avant sa fin.