Analyse de formes pour la compréhension du comportement humain

Abstract

L'analyse visuelle des mouvements humains est l'un des domaines de recherche les plus actifs en vision par ordinateur. Elle vise à détecter, suivre et identifier les personnes, et plus généralement, d'interpréter les comportements humains, à partir de séquences d'images impliquant des humains. Cette Habilitation a pour thème principal l'analyse de forme des données d'imagerie avec application à l'analyse du comportement humain. En particulier, pour filtrer certaines transformations indésirables, les formes extraites du corps et du visage humain sont représentées comme des éléments d'un espace de formes défini comme invariant sous l'action de groupes modélisant les transformations indésirables. La principale contribution présentée dans cette habilitation est un cadre unifié pour l'analyse du comportement humain à travers de multiples variétés représentant différentes données, avec différentes applications allant de la reconnaissance d'action à l'estimation de la biométrie douce, y compris l'analyse et la classification des expressions faciales. Premièrement, les landmarks issus des skeletons humains ou du visage sont modélisés sur l'espace de forme de Kendall où la comparaison est invariante à l'échelle, à la translation et à la rotation. Un codage parcimonieux intrinsèque sur l'espace de forme de Kendall a été effectué avec une application à la reconnaissance d'action et d'expression à partir de landmarks dynamiques. Une étude comparative à un codage extrinsèque parcimonieux est également présentée pour comprendre les avantages de chaque méthodologie. Deuxièmement, les courbes faciales ont été vues comme des points sur une variété de dimension infinie et un vecteur de vélocité le long d'une géodésique représentant les déformations faciales entre les visages 3D a été proposé avec une application à la reconnaissance des biométries douces à partir de visages 3D et à la reconnaissance d'expressions faciales à partir de visages 3D dynamiques. Enfin, un cadre pour les surfaces 3D paramétrées est présenté. Nous présentons les algorithmes pour calculer les géodésiques, les distances et les moyens intrinsèques. Une nouvelle idée basée sur la théorie de jauge capable de calculer les chemins géodésiques sur l'espace de forme sans avoir besoin de filtrer le groupe de re-paramétrisation est proposée. Les expériences menées sur les principaux benchmarks de reconnaissance d'action, d'expression faciales et de reconnaissance de biométries douces démontrent l'efficacité du cadre proposé pour l’analyse et la compréhension du comportement humain.