Modèles bayésiens pour l’identification ...
Type de document :
Thèse
Titre :
Modèles bayésiens pour l’identification de représentations antiparcimonieuses et l’analyse en composantes principales bayésienne non paramétrique
Titre en anglais :
Bayesian methods for anti-sparse coding and non parametric principal component analysis
Auteur(s) :
Elvira, Clément [Auteur]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Directeur(s) de thèse :
Pierre Chainais
Nicolas Dobigeon
Nicolas Dobigeon
Date de soutenance :
2017-11-10
Président du jury :
Florence Forbes [Président]
Rémy Boyer [Rapporteur]
Olivier Michel [Rapporteur]
Saïd Moussaoui
Gersende Fort
Rémy Boyer [Rapporteur]
Olivier Michel [Rapporteur]
Saïd Moussaoui
Gersende Fort
Membre(s) du jury :
Florence Forbes [Président]
Rémy Boyer [Rapporteur]
Olivier Michel [Rapporteur]
Saïd Moussaoui
Gersende Fort
Rémy Boyer [Rapporteur]
Olivier Michel [Rapporteur]
Saïd Moussaoui
Gersende Fort
Organisme de délivrance :
Ecole Centrale de Lille
École doctorale :
École doctorale Sciences pour l'ingénieur (Lille)
NNT :
2017ECLI0016
Mot(s)-clé(s) :
Antiparcimonie
Loi démocratique
Méthode de Monte-Carlo par chaînes de Markov
Méthodes proximales
Bayésien non paramétrique
Variété de Stiefel
Processus du buffet indien
Estimation de sous-espaces
Loi démocratique
Méthode de Monte-Carlo par chaînes de Markov
Méthodes proximales
Bayésien non paramétrique
Variété de Stiefel
Processus du buffet indien
Estimation de sous-espaces
Mot(s)-clé(s) en anglais :
Anti-sparse representation
Democratic distribution
Monte Carlo Markov chains methods
Proximal methods
Bayesian nonparametrics
Stiefel manifold
Indian buffet process
Subpace estimation
Democratic distribution
Monte Carlo Markov chains methods
Proximal methods
Bayesian nonparametrics
Stiefel manifold
Indian buffet process
Subpace estimation
Discipline(s) HAL :
Informatique [cs]/Traitement du signal et de l'image [eess.SP]
Résumé :
Cette thèse étudie deux modèles paramétriques et non paramétriques pour le changement de représentation. L'objectif des deux modèles diffère. Le premier cherche une représentation en plus grande dimension pour gagner en ...
Lire la suite >Cette thèse étudie deux modèles paramétriques et non paramétriques pour le changement de représentation. L'objectif des deux modèles diffère. Le premier cherche une représentation en plus grande dimension pour gagner en robustesse. L'objectif est de répartir uniformément l’information d’un signal sur toutes les composantes de sa représentation en plus grande dimension. La recherche d'un tel code s'exprime comme un problème inverse impliquant une régularisation de type norme infinie. Nous proposons une formulation bayésienne du problème impliquant une nouvelle loi de probabilité baptisée démocratique, qui pénalise les fortes amplitudes. Deux algorithmes MCMC proximaux sont présentés pour approcher des estimateurs bayésiens. La méthode non supervisée présentée est appelée BAC-1. Des expériences numériques illustrent les performances de l’approche pour la réduction de facteur de crête. Le second modèle identifie un sous-espace pertinent de dimension réduite à des fins de modélisation. Mais les méthodes probabilistes proposées nécessitent généralement de fixer à l'avance la dimension du sous-espace. Ce travail introduit BNP-PCA, une version bayésienne non paramétrique de l'analyse en composantes principales. La méthode couple une loi uniforme sur les bases orthonormales à un a priori non paramétrique de type buffet indien pour favoriser une utilisation parcimonieuse des composantes principales et aucun réglage n'est nécessaire. L'inférence est réalisée à l'aide des méthodes MCMC. L'estimation de la dimension du sous-espace et le comportement numérique de BNP-PCA sont étudiés. Nous montrons la flexibilité de BNP-PCA sur deux applicationsLire moins >
Lire la suite >Cette thèse étudie deux modèles paramétriques et non paramétriques pour le changement de représentation. L'objectif des deux modèles diffère. Le premier cherche une représentation en plus grande dimension pour gagner en robustesse. L'objectif est de répartir uniformément l’information d’un signal sur toutes les composantes de sa représentation en plus grande dimension. La recherche d'un tel code s'exprime comme un problème inverse impliquant une régularisation de type norme infinie. Nous proposons une formulation bayésienne du problème impliquant une nouvelle loi de probabilité baptisée démocratique, qui pénalise les fortes amplitudes. Deux algorithmes MCMC proximaux sont présentés pour approcher des estimateurs bayésiens. La méthode non supervisée présentée est appelée BAC-1. Des expériences numériques illustrent les performances de l’approche pour la réduction de facteur de crête. Le second modèle identifie un sous-espace pertinent de dimension réduite à des fins de modélisation. Mais les méthodes probabilistes proposées nécessitent généralement de fixer à l'avance la dimension du sous-espace. Ce travail introduit BNP-PCA, une version bayésienne non paramétrique de l'analyse en composantes principales. La méthode couple une loi uniforme sur les bases orthonormales à un a priori non paramétrique de type buffet indien pour favoriser une utilisation parcimonieuse des composantes principales et aucun réglage n'est nécessaire. L'inférence est réalisée à l'aide des méthodes MCMC. L'estimation de la dimension du sous-espace et le comportement numérique de BNP-PCA sont étudiés. Nous montrons la flexibilité de BNP-PCA sur deux applicationsLire moins >
Résumé en anglais : [en]
This thesis proposes Bayesian parametric and nonparametric models for signal representation. The first model infers a higher dimensional representation of a signal for sake of robustness by enforcing the information to be ...
Lire la suite >This thesis proposes Bayesian parametric and nonparametric models for signal representation. The first model infers a higher dimensional representation of a signal for sake of robustness by enforcing the information to be spread uniformly. These so called anti-sparse representations are obtained by solving a linear inverse problem with an infinite-norm penalty. We propose in this thesis a Bayesian formulation of anti-sparse coding involving a new probability distribution, referred to as the democratic prior. A Gibbs and two proximal samplers are proposed to approximate Bayesian estimators. The algorithm is called BAC-1. Simulations on synthetic data illustrate the performances of the two proposed samplers and the results are compared with state-of-the art methods. The second model identifies a lower dimensional representation of a signal for modelisation and model selection. Principal component analysis is very popular to perform dimension reduction. The selection of the number of significant components is essential but often based on some practical heuristics depending on the application. Few works have proposed a probabilistic approach to infer the number of significant components. We propose a Bayesian nonparametric principal component analysis called BNP-PCA. The proposed model involves an Indian buffet process to promote a parsimonious use of principal components, which is assigned a prior distribution defined on the manifold of orthonormal basis. Inference is done using MCMC methods. The estimators of the latent dimension are theoretically and empirically studied. The relevance of the approach is assessed on two applicationsLire moins >
Lire la suite >This thesis proposes Bayesian parametric and nonparametric models for signal representation. The first model infers a higher dimensional representation of a signal for sake of robustness by enforcing the information to be spread uniformly. These so called anti-sparse representations are obtained by solving a linear inverse problem with an infinite-norm penalty. We propose in this thesis a Bayesian formulation of anti-sparse coding involving a new probability distribution, referred to as the democratic prior. A Gibbs and two proximal samplers are proposed to approximate Bayesian estimators. The algorithm is called BAC-1. Simulations on synthetic data illustrate the performances of the two proposed samplers and the results are compared with state-of-the art methods. The second model identifies a lower dimensional representation of a signal for modelisation and model selection. Principal component analysis is very popular to perform dimension reduction. The selection of the number of significant components is essential but often based on some practical heuristics depending on the application. Few works have proposed a probabilistic approach to infer the number of significant components. We propose a Bayesian nonparametric principal component analysis called BNP-PCA. The proposed model involves an Indian buffet process to promote a parsimonious use of principal components, which is assigned a prior distribution defined on the manifold of orthonormal basis. Inference is done using MCMC methods. The estimators of the latent dimension are theoretically and empirically studied. The relevance of the approach is assessed on two applicationsLire moins >
Langue :
Français
Collections :
Source :
Fichiers
- https://tel.archives-ouvertes.fr/tel-01730077v2/document
- Accès libre
- Accéder au document
- https://tel.archives-ouvertes.fr/tel-01730077v2/document
- Accès libre
- Accéder au document
- https://tel.archives-ouvertes.fr/tel-01730077v2/document
- Accès libre
- Accéder au document
- document
- Accès libre
- Accéder au document
- Elvira_Clement_DLE.pdf
- Accès libre
- Accéder au document