Reconnaissance des intéractions humaines avec l'objet

Abstract

Dans cette thèse, nous avons étudié la reconnaissance des actions quiincluent l’intéraction avec l’objet à partir des données du skeleton et desinformations de profondeur fournies par les capteurs RGB-D. Il existedeux principales applications que nous abordons dans cette thèse: lareconnaissance de l’interaction humaine avec l’objet et la reconnaissanced’une activité anormale.Nous proposons, dan un premier temps, une modélisation spatiotemporellepour la reconnaissance en ligne et hors ligne des intéractionsentre l’humain et l’objet. Dans la modélisation spatiale, nous proposonsdes caractéristiques de bas niveau liés à la distance entre les points duskeleton et la distance entre l’objet et les points du skeleton. Ces caractéristiquesont été adoptées pour la reconnaissance en ligne des intéractionshumaines avec l’objet et pour la détection de la démarche anormale.Ensuite, nous proposons des caractéristiques liées à d’objet qui décriventapproximativement la forme et la taille de l’objet. Ces caractéristiques sontfusionnées avec les caractéristiques bas-niveau pour la reconnaissance enligne des intéractions humaines avec l’objet. Dans la modélisation temporelle,nous avons proposé un framework élastique pour aligner les trajectoiresdes distances dans le temps afin de permettre une reconnaissancehors ligne invariante au taux d’exécution. Les expériences menées surdeux benchmarks démontrent l’efficacité de la méthode proposée. Dans ledeuxième volet de ce travail, nous étendons l’étude à la détection de la démarcheanormale en utilisant le cadre en ligne l’approche. Afin de validerla robustesse de l’approche à la pose, nous avons collecté une base multivuespour des intéractions humaines avec l’objet, de façon normale etanormale. Les résultats expérimentaux sur le benchmark des actions anormalesfrontales et sur la nouvelles base prouvent l’efficacité de l’approche.