Une formulation bayésienne du codage ...
Document type :
Autre communication scientifique (congrès sans actes - poster - séminaire...): Communication dans un congrès avec actes
Title :
Une formulation bayésienne du codage antiparcimonieux
Author(s) :
Elvira, Clément [Auteur]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Chainais, Pierre [Auteur]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Dobigeon, Nicolas [Auteur]
Signal et Communications [IRIT-SC]
Institut National Polytechnique (Toulouse) [Toulouse INP]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Chainais, Pierre [Auteur]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Dobigeon, Nicolas [Auteur]
Signal et Communications [IRIT-SC]
Institut National Polytechnique (Toulouse) [Toulouse INP]
Conference title :
GRETSI
City :
Juan-les-Pins
Country :
France
Start date of the conference :
2017-09-05
HAL domain(s) :
Sciences de l'ingénieur [physics]/Traitement du signal et de l'image [eess.SP]
Informatique [cs]/Traitement du signal et de l'image [eess.SP]
Informatique [cs]/Apprentissage [cs.LG]
Informatique [cs]/Traitement du signal et de l'image [eess.SP]
Informatique [cs]/Apprentissage [cs.LG]
French abstract :
Dans un but de robustesse, un codage antiparcimonieux répartit uniformément l'information d'un signal sur toutes les compo-santes de sa représentation. La recherche d'un tel codage s'exprime naturellement sous la forme ...
Show more >Dans un but de robustesse, un codage antiparcimonieux répartit uniformément l'information d'un signal sur toutes les compo-santes de sa représentation. La recherche d'un tel codage s'exprime naturellement sous la forme d'un problème variationnel impliquant une régularisation de type ∞. Dans cet article une formulation bayésienne du problème est proposée, impliquant une nouvelle loi de probabilité, la loi démocratique, qui pénalise les fortes amplitudes. Cette distribution est choisie comme loi a priori sur les coefficients de représentation, couplée avec une vraisemblance gaussienne. Les estimateurs bayésiens des coefficients de représentation peuvent être approchés à l'aide d'un échantillonneur de Gibbs. Cette méthode passe cependant difficilement à l'échelle et un algorithme de Monte Carlo proximal a été proposé. On discute une nouvelle façon de choisir et régler la loi a priori sur les paramètres de nuisance. Deux simulations numériques permettent de valider le réglage des hyperparamètres et la recherche du paramètre de régularisation.Show less >
Show more >Dans un but de robustesse, un codage antiparcimonieux répartit uniformément l'information d'un signal sur toutes les compo-santes de sa représentation. La recherche d'un tel codage s'exprime naturellement sous la forme d'un problème variationnel impliquant une régularisation de type ∞. Dans cet article une formulation bayésienne du problème est proposée, impliquant une nouvelle loi de probabilité, la loi démocratique, qui pénalise les fortes amplitudes. Cette distribution est choisie comme loi a priori sur les coefficients de représentation, couplée avec une vraisemblance gaussienne. Les estimateurs bayésiens des coefficients de représentation peuvent être approchés à l'aide d'un échantillonneur de Gibbs. Cette méthode passe cependant difficilement à l'échelle et un algorithme de Monte Carlo proximal a été proposé. On discute une nouvelle façon de choisir et régler la loi a priori sur les paramètres de nuisance. Deux simulations numériques permettent de valider le réglage des hyperparamètres et la recherche du paramètre de régularisation.Show less >
English abstract : [en]
For sake of robustness, anti-sparse coding aims at spreading the information uniformly over representation coefficients and can be naturally expressed by an ∞-norm regularization. This article discusses a Bayesian formulation ...
Show more >For sake of robustness, anti-sparse coding aims at spreading the information uniformly over representation coefficients and can be naturally expressed by an ∞-norm regularization. This article discusses a Bayesian formulation of the anti-sparse coding problem, relying on a new probability distribution called democratic distribution. Once elected as a prior distribution in a linear Gaussian inverse problem, inference can be conducted using a Gibbs sampling scheme. This paper discusses an alternative choice of prior for the nuisance parameters and proposes a comparison between two scalable inference schemes based on recent developements in Monte Carlo methods. These findings are illustrated by simulations on synthetic data, and compared with the recent deterministic variational FITRA algorithm.Show less >
Show more >For sake of robustness, anti-sparse coding aims at spreading the information uniformly over representation coefficients and can be naturally expressed by an ∞-norm regularization. This article discusses a Bayesian formulation of the anti-sparse coding problem, relying on a new probability distribution called democratic distribution. Once elected as a prior distribution in a linear Gaussian inverse problem, inference can be conducted using a Gibbs sampling scheme. This paper discusses an alternative choice of prior for the nuisance parameters and proposes a comparison between two scalable inference schemes based on recent developements in Monte Carlo methods. These findings are illustrated by simulations on synthetic data, and compared with the recent deterministic variational FITRA algorithm.Show less >
Language :
Français
Peer reviewed article :
Oui
Audience :
Internationale
Popular science :
Non
Collections :
Source :
Files
- https://hal.archives-ouvertes.fr/hal-01691387/document
- Open access
- Access the document
- https://hal.archives-ouvertes.fr/hal-01691387/document
- Open access
- Access the document
- https://hal.archives-ouvertes.fr/hal-01691387/document
- Open access
- Access the document
- document
- Open access
- Access the document
- manuscript.pdf
- Open access
- Access the document