Proposition d’approches utilisant les ...
Document type :
Thèse
Title :
Proposition d’approches utilisant les réseaux de neurones profonds et les méthodes géométriques pour la reconstruction d’un visage 3D à partir d’une seule image
English title :
A proposal of approaches using deep neural networks and geometric methods for 3D face reconstruction from a single image
Author(s) :
Bouafif, Oussema [Auteur]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Ecole nationale supérieure Mines-Télécom Lille Douai [IMT Lille Douai]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Ecole nationale supérieure Mines-Télécom Lille Douai [IMT Lille Douai]
Thesis director(s) :
Mohamed Daoudi
Defence date :
2021-06-25
Jury president :
Olivier Colot [Président]
Kevin Bailly [Rapporteur]
Rachid Oulad Haj Thami [Rapporteur]
Bogdan Khomutenko
Catherine Soladié
Kevin Bailly [Rapporteur]
Rachid Oulad Haj Thami [Rapporteur]
Bogdan Khomutenko
Catherine Soladié
Jury member(s) :
Olivier Colot [Président]
Kevin Bailly [Rapporteur]
Rachid Oulad Haj Thami [Rapporteur]
Bogdan Khomutenko
Catherine Soladié
Kevin Bailly [Rapporteur]
Rachid Oulad Haj Thami [Rapporteur]
Bogdan Khomutenko
Catherine Soladié
Accredited body :
Ecole nationale supérieure Mines-Télécom Lille Douai
Doctoral school :
École doctorale Sciences pour l'ingénieur (Lille)
NNT :
2021MTLD0001
Keyword(s) :
Reconstruction de visage en 3D
Méthodes hybrides
Apprentissage profond
Données synthétiques
Normales de surface faciale
Méthodes hybrides
Apprentissage profond
Données synthétiques
Normales de surface faciale
English keyword(s) :
3D face reconstruction
Hybrid methods
Deep learning
Synthetic data
Facial surface normals
Hybrid methods
Deep learning
Synthetic data
Facial surface normals
HAL domain(s) :
Informatique [cs]/Vision par ordinateur et reconnaissance de formes [cs.CV]
French abstract :
La reconstruction 3D d’un visage à partir d’une image 2D est un problème fondamental de la vision par ordinateur qui suscite un intérêt considérable en raison de ses diverses applications telles que la surveillance, la ...
Show more >La reconstruction 3D d’un visage à partir d’une image 2D est un problème fondamental de la vision par ordinateur qui suscite un intérêt considérable en raison de ses diverses applications telles que la surveillance, la santé, les jeux-vidéo, le cinéma, etc. Cette thèse présente deux approches hybrides de reconstruction 3D de visage à partir d’une image couleur 2D qui combinent les techniques d’apprentissage profond et de géométrie. Pour faire face au manque de données nécessaires à l’apprentissage des réseaux de neurones, un générateur de têtes humaines synthétiques a été conçu. Ce qui a permis de constituer une base de données d’images faciales avec plusieurs cartes qui contiennent des informations caractéristiques de la géométrie du visage. Les deux approches de reconstruction de visage 3D utilisent des CNN pour produire deux types de cartes à partir d’une image d’un visage humain. La première approche produit une carte de champ des normales et une carte du module de gradient de la carte de profondeur du visage. Par la suite, ces deux sorties sont utilisées dans un processus d’intégration du champ des normales basée sur les moindres carrées pondérées pour générer une surface faciale 3D. Dans la deuxième approche, le réseau de neurones produit une carte de points de repère et une carte de champ des normales similaires à celle produite dans la première approche. Elles sont utilisées dans un processus de régression qui vise à trouver la meilleure combinaison linéaire des bases d’un modèle paramétrique (3DMM) et d’obtenir ainsi le modèle 3D qui s’ajuste au visage présent dans l’image d’entrée.Show less >
Show more >La reconstruction 3D d’un visage à partir d’une image 2D est un problème fondamental de la vision par ordinateur qui suscite un intérêt considérable en raison de ses diverses applications telles que la surveillance, la santé, les jeux-vidéo, le cinéma, etc. Cette thèse présente deux approches hybrides de reconstruction 3D de visage à partir d’une image couleur 2D qui combinent les techniques d’apprentissage profond et de géométrie. Pour faire face au manque de données nécessaires à l’apprentissage des réseaux de neurones, un générateur de têtes humaines synthétiques a été conçu. Ce qui a permis de constituer une base de données d’images faciales avec plusieurs cartes qui contiennent des informations caractéristiques de la géométrie du visage. Les deux approches de reconstruction de visage 3D utilisent des CNN pour produire deux types de cartes à partir d’une image d’un visage humain. La première approche produit une carte de champ des normales et une carte du module de gradient de la carte de profondeur du visage. Par la suite, ces deux sorties sont utilisées dans un processus d’intégration du champ des normales basée sur les moindres carrées pondérées pour générer une surface faciale 3D. Dans la deuxième approche, le réseau de neurones produit une carte de points de repère et une carte de champ des normales similaires à celle produite dans la première approche. Elles sont utilisées dans un processus de régression qui vise à trouver la meilleure combinaison linéaire des bases d’un modèle paramétrique (3DMM) et d’obtenir ainsi le modèle 3D qui s’ajuste au visage présent dans l’image d’entrée.Show less >
English abstract : [en]
3D face reconstruction from a 2D image is a fundamental problem in computer vision that is attracting considerable interest owing to its various potential applications such as surveillance, health, video games, cinema, ...
Show more >3D face reconstruction from a 2D image is a fundamental problem in computer vision that is attracting considerable interest owing to its various potential applications such as surveillance, health, video games, cinema, etc. This thesis presents two hybrid approaches for 3D face reconstruction from a 2D color image that combine deep learning and geometric techniques. To deal with the lack of data needed to train the neural networks, a 3D synthetic human heads generator is designed. It allowed us to provide a facial image database with several maps that contain facial geometry characteristics for each example. Both 3D face reconstruction approaches use CNN to produce two maps from a human face image. The first approach generates a pixel-wise normal map and an image of the magnitude of the depth gradient. Subsequently, using these maps, the 3D facial geometry is recovered by applying a normals integration process based on weighted least squares method. In the second approach, the neural network produces a landmarks map and a pixel-wise normal map similar to the one produced in the first method. Landmarks are used for pose computation and the initialization of an optimization problem, which in turn, reconstructs the 3D head geometry by using a 3D morphable model (3DMM) and normal vector fields.Show less >
Show more >3D face reconstruction from a 2D image is a fundamental problem in computer vision that is attracting considerable interest owing to its various potential applications such as surveillance, health, video games, cinema, etc. This thesis presents two hybrid approaches for 3D face reconstruction from a 2D color image that combine deep learning and geometric techniques. To deal with the lack of data needed to train the neural networks, a 3D synthetic human heads generator is designed. It allowed us to provide a facial image database with several maps that contain facial geometry characteristics for each example. Both 3D face reconstruction approaches use CNN to produce two maps from a human face image. The first approach generates a pixel-wise normal map and an image of the magnitude of the depth gradient. Subsequently, using these maps, the 3D facial geometry is recovered by applying a normals integration process based on weighted least squares method. In the second approach, the neural network produces a landmarks map and a pixel-wise normal map similar to the one produced in the first method. Landmarks are used for pose computation and the initialization of an optimization problem, which in turn, reconstructs the 3D head geometry by using a 3D morphable model (3DMM) and normal vector fields.Show less >
Language :
Français
Collections :
Source :
Files
- https://tel.archives-ouvertes.fr/tel-03351834/document
- Open access
- Access the document
- document
- Open access
- Access the document
- these_bouafif_oussema.pdf
- Open access
- Access the document