Décorrélation de variables à base de modèles en régression linéaire (CorReg). Application aux données manquantes et à l'industrie sidérurgique.

Abstract

corrélationsau sein des bases de données, particulièrement fréquentes dans le cadre industriel.Une modélisation explicite des corrélations par un système de sous-régressions entre covariablespermet de pointer les sources des corrélations et d’isoler certaines variablesredondantes.Il en découle une pré-sélection de variables nettement moins corrélées sans perte significatived’information et avec un fort potentiel explicatif (la pré-selection elle-même estexpliquée par la structure de sous-régression qui est simple à comprendre car uniquementconstituée de modèles linéaires).Un algorithme de recherche de structure de sous-régressions est proposé, basé surun modèle génératif complet sur les données et utilisant une chaîne MCMC (Monte-Carlo Markov Chain). Ce prétraitement est utilisé pour la régression linéaire comme uneprésélection des variables explicatives à des fins illustratives mais ne dépend pas de lavariable réponse. Il peut donc être utilisé de manière générale pour toute problématiquede corrélations.Par la suite, un estimateur plug-in pour la régression linéaire est proposé pour réinjecterl’information résiduelle contenue dans les variables redondantes de manière séquentielle.On utilise ainsi toutes les variables sans souffrir des corrélations entre covariables.Enfin, le modèle génératif complet offre la perspective de pouvoir être utilisé pour gérerd’éventuelles valeurs manquantes dans les données. Cela permet la recherche de structuremalgré l’absence de certaines données. Mais un autre débouché est l’imputation multipledes données manquantes, préalable à l’utilisation de méthodes classiques incompatiblesavec la présence de valeurs manquantes. De plus, l’imputation multiple des valeurs manquantespermet d’obtenir un estimateur de la variance des valeurs imputées. Encoreune fois, la régression linéaire vient illustrer l’apport de la méthode qui reste cependantgénérique et pourrait être appliquée à d’autres contextes tels que le clustering.Tout au long de ces travaux, l’accent est mis principalement sur l’interprétabilité desrésultats en raison du caractère industriel de cette thèse.Le package R intitulé CorReg, disponible sur le cran sous licence CeCILL, implémenteles méthodes développées durant cette thèse.