Méthodes d'apprentissage profond inspirées ...
Document type :
Thèse
Permalink :
Title :
Méthodes d'apprentissage profond inspirées par la physique pour l'inférence de la qualité de l'air
English title :
Deep-Learning Physics-Inspired Methods for Air Quality Inference
Author(s) :
Dabrowski, Matthieu [Auteur]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Thesis director(s) :
Chaabane Djeraba
Jérôme Riedi
José Mennesson
Jérôme Riedi
José Mennesson
Defence date :
2024-12-09
Jury president :
Véronique Riffault [Président]
Laurent Perrinet [Rapporteur]
Jean-François Léon [Rapporteur]
Renaud Péteri
Rim Salmi Slama
Laurent Perrinet [Rapporteur]
Jean-François Léon [Rapporteur]
Renaud Péteri
Rim Salmi Slama
Jury member(s) :
Véronique Riffault [Président]
Laurent Perrinet [Rapporteur]
Jean-François Léon [Rapporteur]
Renaud Péteri
Rim Salmi Slama
Laurent Perrinet [Rapporteur]
Jean-François Léon [Rapporteur]
Renaud Péteri
Rim Salmi Slama
Accredited body :
Université de Lille
Doctoral school :
École graduée Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....)
NNT :
2024ULILB043
Keyword(s) :
Réseaux de Neurones Convolutifs
Apprentissage Semi-Supervisé
Réseaux de Neurones Informés par la Physique
Conditions Aux Limites
Apprentissage Semi-Supervisé
Réseaux de Neurones Informés par la Physique
Conditions Aux Limites
English keyword(s) :
Convolutional Neural Networks
Semi-Supervised Learning
Physics-Informed Neural Networks
Boundary Conditions
Semi-Supervised Learning
Physics-Informed Neural Networks
Boundary Conditions
HAL domain(s) :
Informatique [cs]/Apprentissage [cs.LG]
French abstract :
Le domaine de la Vision Artificielle est né de la volonté d'appliquer des méthodes d'apprentissage profond à des images, et de l'efficacité indiscutable de ce type de méthodes. Cependant ces solutions complexes sont souvent ...
Show more >Le domaine de la Vision Artificielle est né de la volonté d'appliquer des méthodes d'apprentissage profond à des images, et de l'efficacité indiscutable de ce type de méthodes. Cependant ces solutions complexes sont souvent purement basées sur les données, n'utilisant que très peu d'informations a priori sur le contexte d'application, ce qui renforce leur aspect dit "boîte noire".Selon le domaine d'application, des méthodes plus classiques, exploitant justement ces informations peuvent être utilisées. Dans le domaine de la physique notamment, des solutions purement mathématiques peuvent être utilisées, souvent basées sur la résolution d'un système d'équations différentielles. Cependant si les méthodes purement physique présentent une bonne précision ainsi qu'une excellente explicabilité, leur temps d'inférence laisse dans certains cas à désirer.C'est justement le cas pour la tâche de prédiction de la concentration au niveau du sol en Particules de Matière ayant un diamètre inférieur à 2.5 μm. Cette valeur étant liée à la qualité de l'air, et par extension à des dégradations de la santé humaine, l'objectif de cette tâche dépasse le simple enjeu de l'amélioration des connaissances. Il existe donc un besoin de solutions performantes mais aussi rapides pour la réalisation de cette tâche.Notre objectif dans le cadre de cette thèse est donc de proposer une méthode d'estimation de la concentration en aérosols au niveau du sol, bénéficiant de l'efficacité (en termes de rapport entre précision et temps d'inférence) des Artificial Neural Network (Réseau de Neurones Artificiels) (ANN). Nous souhaitons pour développer ces nouvelles solutions nous appuyer sur les connaissances a priori du domaine. Elles peuvent en effet se révéler utiles dans le contexte de l'apprentissage semi-supervisé. Cela peut par ailleurs permettre d'augmenter l'explicabilité des modèles. Cet objectif s'inscrit donc dans un contexte précis, mais qui nous laisse toutefois la liberté d'explorer successivement trois directions de recherche.Dans ce dit contexte, notre accès à des données annotées est limité. Certaines de nos annotations sont notamment dites "éparses", car elles ne concernent que quelques pixels d'une image donnée. Nous proposons ainsi premièrement une méthode permettant à un modèle de Réseau Génératif Adverse d'exploiter ces vérités terrain éparses. Cette solution s'inspire du rôle des Conditions Aux Limites dans la résolution d'équations différentielles en physique. Nous démontrons expérimentalement la compétitivité de cette approche.Nous étudions dans un second temps l'impact de l'utilisation d'une sélection de variables météorologiques comme données d'entrée supplémentaires sur nos résultats. La relation entre ces variables et certains choix d'architecture, comme les méthodes de fusion d'information employées, est en particulier questionnée. Des conclusions cruciales sur le comportement des ANN dans ce type de contexte sont tirées de cette étude.Enfin, nous proposons un modèle de Réseau de Neurones Informé par la Physique, utilisant une fonction de coût basée sur une équation physique. Celle-ci permet de guider l'apprentissage sans données annotées, ce qui rend cette méthode particulièrement adaptée dans notre contexte d'entraînement semi-supervisé. De plus l'architecture particulière de ce modèle lui permet de générer lui-même certaines des données nécessaires à l'utilisation de cette fonction de coût. Nos expérimentations démontrent l'efficacité de ce modèle comparé à l'état de l'art.Show less >
Show more >Le domaine de la Vision Artificielle est né de la volonté d'appliquer des méthodes d'apprentissage profond à des images, et de l'efficacité indiscutable de ce type de méthodes. Cependant ces solutions complexes sont souvent purement basées sur les données, n'utilisant que très peu d'informations a priori sur le contexte d'application, ce qui renforce leur aspect dit "boîte noire".Selon le domaine d'application, des méthodes plus classiques, exploitant justement ces informations peuvent être utilisées. Dans le domaine de la physique notamment, des solutions purement mathématiques peuvent être utilisées, souvent basées sur la résolution d'un système d'équations différentielles. Cependant si les méthodes purement physique présentent une bonne précision ainsi qu'une excellente explicabilité, leur temps d'inférence laisse dans certains cas à désirer.C'est justement le cas pour la tâche de prédiction de la concentration au niveau du sol en Particules de Matière ayant un diamètre inférieur à 2.5 μm. Cette valeur étant liée à la qualité de l'air, et par extension à des dégradations de la santé humaine, l'objectif de cette tâche dépasse le simple enjeu de l'amélioration des connaissances. Il existe donc un besoin de solutions performantes mais aussi rapides pour la réalisation de cette tâche.Notre objectif dans le cadre de cette thèse est donc de proposer une méthode d'estimation de la concentration en aérosols au niveau du sol, bénéficiant de l'efficacité (en termes de rapport entre précision et temps d'inférence) des Artificial Neural Network (Réseau de Neurones Artificiels) (ANN). Nous souhaitons pour développer ces nouvelles solutions nous appuyer sur les connaissances a priori du domaine. Elles peuvent en effet se révéler utiles dans le contexte de l'apprentissage semi-supervisé. Cela peut par ailleurs permettre d'augmenter l'explicabilité des modèles. Cet objectif s'inscrit donc dans un contexte précis, mais qui nous laisse toutefois la liberté d'explorer successivement trois directions de recherche.Dans ce dit contexte, notre accès à des données annotées est limité. Certaines de nos annotations sont notamment dites "éparses", car elles ne concernent que quelques pixels d'une image donnée. Nous proposons ainsi premièrement une méthode permettant à un modèle de Réseau Génératif Adverse d'exploiter ces vérités terrain éparses. Cette solution s'inspire du rôle des Conditions Aux Limites dans la résolution d'équations différentielles en physique. Nous démontrons expérimentalement la compétitivité de cette approche.Nous étudions dans un second temps l'impact de l'utilisation d'une sélection de variables météorologiques comme données d'entrée supplémentaires sur nos résultats. La relation entre ces variables et certains choix d'architecture, comme les méthodes de fusion d'information employées, est en particulier questionnée. Des conclusions cruciales sur le comportement des ANN dans ce type de contexte sont tirées de cette étude.Enfin, nous proposons un modèle de Réseau de Neurones Informé par la Physique, utilisant une fonction de coût basée sur une équation physique. Celle-ci permet de guider l'apprentissage sans données annotées, ce qui rend cette méthode particulièrement adaptée dans notre contexte d'entraînement semi-supervisé. De plus l'architecture particulière de ce modèle lui permet de générer lui-même certaines des données nécessaires à l'utilisation de cette fonction de coût. Nos expérimentations démontrent l'efficacité de ce modèle comparé à l'état de l'art.Show less >
English abstract : [en]
The Artificial Vision field was born out of the desire to apply deep learning methods to images, and of the undeniable efficiency of this type of methods. However these complex solutions are often purely based on data, ...
Show more >The Artificial Vision field was born out of the desire to apply deep learning methods to images, and of the undeniable efficiency of this type of methods. However these complex solutions are often purely based on data, using little prior information on the application context, which reinforces their "black box" aspect.Depending on the application domain, more classical methods, exploiting these very prior informations, can be used. In physics particularly, purely mathematical solutions can be used, often based on solving a system of differential equations. However if purely physics-based methods present a good accuracy and an excellent explainability, their inference time is sometimes higher than what would be optimal.It is precisely the case for the task of prediction of ground-level concentration in Particulate Matter with a diameter inferior to 2.5 μm. This value is linked to air quality, and by extension to human health degradations, the objective of this task goes beyond the improvement of knowledge. There exists therefore a need for accurate and fast solutions to realise this task.Our objective in the context of this thesis is therefore to propose a method of estimation of ground-level aerosol concentration, benefitting from the efficiency (in terms of relationship between accuracy and inference time) of Artificial Neural Networks (ANN). To develop this new solutions, we wish to rely on prior domain knowledge. It can indeed prove useful in the context of semi-supervised learning. It can moreover increase the explainability of the models. This objective is therefore relative to a precise context,but it however lets us the freedom of exploring up to three research directions successively.In this context, our access to annotated data is limited. Some of our labels are said "sparse" as sometimes only a few pixels of a given image are properly annotated. We then propose firstly a method allowing a Generative Adversarial Network to exploit these sparse ground truths. This solution is inspired from the role of Boundary Conditions in solving differential equations in physics. We demonstrate experimentally the competitivity of this approach.We study in a second time the impact of the use of a selection of meteorological variables as additional inputs on our results. The relationship between these variables and some architecture choices, such as the fusion strategy used, is particularly explored. Crucial conclusions on the behaviour of ANNs in this type of context are drawn from this study.Finally, we propose a Physics-Informed Neural Network model, using a physics-based loss function. This loss function allows the model to learn without annotated data, which makes this method all the more adapted to our context of semi-supervised learning. Moreover the particular architecture of this model allows it to generate by itself some of the data necessary to the use of this loss function. Our experiments demonstrate the efficiency of this model compared to the state-of-the-art.Show less >
Show more >The Artificial Vision field was born out of the desire to apply deep learning methods to images, and of the undeniable efficiency of this type of methods. However these complex solutions are often purely based on data, using little prior information on the application context, which reinforces their "black box" aspect.Depending on the application domain, more classical methods, exploiting these very prior informations, can be used. In physics particularly, purely mathematical solutions can be used, often based on solving a system of differential equations. However if purely physics-based methods present a good accuracy and an excellent explainability, their inference time is sometimes higher than what would be optimal.It is precisely the case for the task of prediction of ground-level concentration in Particulate Matter with a diameter inferior to 2.5 μm. This value is linked to air quality, and by extension to human health degradations, the objective of this task goes beyond the improvement of knowledge. There exists therefore a need for accurate and fast solutions to realise this task.Our objective in the context of this thesis is therefore to propose a method of estimation of ground-level aerosol concentration, benefitting from the efficiency (in terms of relationship between accuracy and inference time) of Artificial Neural Networks (ANN). To develop this new solutions, we wish to rely on prior domain knowledge. It can indeed prove useful in the context of semi-supervised learning. It can moreover increase the explainability of the models. This objective is therefore relative to a precise context,but it however lets us the freedom of exploring up to three research directions successively.In this context, our access to annotated data is limited. Some of our labels are said "sparse" as sometimes only a few pixels of a given image are properly annotated. We then propose firstly a method allowing a Generative Adversarial Network to exploit these sparse ground truths. This solution is inspired from the role of Boundary Conditions in solving differential equations in physics. We demonstrate experimentally the competitivity of this approach.We study in a second time the impact of the use of a selection of meteorological variables as additional inputs on our results. The relationship between these variables and some architecture choices, such as the fusion strategy used, is particularly explored. Crucial conclusions on the behaviour of ANNs in this type of context are drawn from this study.Finally, we propose a Physics-Informed Neural Network model, using a physics-based loss function. This loss function allows the model to learn without annotated data, which makes this method all the more adapted to our context of semi-supervised learning. Moreover the particular architecture of this model allows it to generate by itself some of the data necessary to the use of this loss function. Our experiments demonstrate the efficiency of this model compared to the state-of-the-art.Show less >
Language :
Français
Collections :
Source :
Submission date :
2025-03-27T03:09:35Z
Files
- document
- Open access
- Access the document
- These_DABROWSKI_Matthieu.pdf
- Open access
- Access the document