Optimization boîte grise massivement ...
Document type :
Thèse
Title :
Optimization boîte grise massivement parallèle et large échelle
English title :
Massively parallel and large scale graybox optimization
Author(s) :
Canonne, Lorenzo [Auteur]
Inria Lille - Nord Europe
Université de Lille
Optimisation de grande taille et calcul large échelle [BONUS]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Inria Lille - Nord Europe
Université de Lille
Optimisation de grande taille et calcul large échelle [BONUS]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Thesis director(s) :
Bilel Derbel
Defence date :
2023-12-19
Accredited body :
Université de lille
Doctoral school :
MADIS Mathématiques, sciences du numérique et de leurs interactions
Keyword(s) :
optimisation boite grise
croisement par partition
recherche locale
algorithmes parallèles
analyse de paysage de recherche
croisement par partition
recherche locale
algorithmes parallèles
analyse de paysage de recherche
English keyword(s) :
graybox optimization
partition crossover
local search
parallel algorithms
fitness landscape analysis
partition crossover
local search
parallel algorithms
fitness landscape analysis
HAL domain(s) :
Informatique [cs]
French abstract :
L’optimisation boîte grise se distingue de l’optimisation boîte noire par le fait que desinformations soient disponibles sur la structure du problème que l’on souhaite résoudre.Ces informations permettent de concevoir des ...
Show more >L’optimisation boîte grise se distingue de l’optimisation boîte noire par le fait que desinformations soient disponibles sur la structure du problème que l’on souhaite résoudre.Ces informations permettent de concevoir des approches très efficaces, car adaptéesaux particularités des problèmes considérés ; on peut ainsi, en un temps raisonnable,traiter des problèmes de plus en plus grands et ce très efficacement. À ces avancéesalgorithmiques s’ajoutent l’accroissement de la puissance des supercalculateurs, celle-ciétant principalement le fruit de la multiplication des unités de calcul au sein d’unmême système. Cependant, pour tirer parti efficacement de cette immense puissancede calcul, il faut adapter et/ou concevoir de nouveaux algorithmes. Cette thèse visenon seulement à l’élaboration d’approches boîtes grises massivement parallèles, maiségalement à obtenir une compréhension plus fine de la dynamique et des synergiesdes opérateurs boîtes grises les plus puissants, et ce, dans un environnement parallèle,mais aussi séquentiel.Plus précisément, nous nous concentrons sur les problèmes d’optimisation pseudo-booléens k-bornés modélisables par des paysages Mk et plus particulièrement sur desinstances de très grande taille. La communauté a proposé des algorithmes avancésexploitant les informations disponibles sur la structure de ce type de problèmes génériques. Parmi ceux-ci, on retrouve des recherches locales de type hill climber capablesde trouver les mouvements améliorants en temps constant ; ainsi que des opérateursde croisement recombinant deux optima locaux afin d’en obtenir un nouveau, tout enayant la garantie que ce dernier soit au moins d’aussi bonne qualité que la meilleuredes deux solutions croisées, et ce, en un temps linéaire.Dans ce contexte, nos contributions se regroupent en deux parties. Dans une premièrepartie, nous nous concentrons sur la conception d’approches parallèles. Nous pro-posons d’abord une variante d’un hill climber basée sur la coloration de graphes etfonctionnant en mémoire partagée. Nous proposons ensuite une nouvelle approchecomplètement distribuée, coopérative et massivement parallèle, fonctionnant sur l’undes plus puissants calculateurs au monde, le Fugaku. Dans une seconde partie, nousnous concentrons sur la dynamique de recherche induite par l’utilisation des croisements boîte grise. Nous décrivons deux contributions qui améliorent successivementl’état de l’art existant. La première concerne la conception et l’analyse de nouvellesstratégies d’échappement avancées, tandis que la seconde s’intéresse à l’ajout d’unephase d’initialisation permettant de diriger la recherche vers des zones prometteusesde l’espace de recherche. Nous concluons nos investigations par une étude comparativeapprofondie de la synergie entre les approches proposées et les différents opérateursde croisement de la littérature, permettant ainsi de mieux appréhender la dynamiquede recherche des approches proposées, et de discuter des pistes d’amélioration fondéessur de solides observations empiriques.Show less >
Show more >L’optimisation boîte grise se distingue de l’optimisation boîte noire par le fait que desinformations soient disponibles sur la structure du problème que l’on souhaite résoudre.Ces informations permettent de concevoir des approches très efficaces, car adaptéesaux particularités des problèmes considérés ; on peut ainsi, en un temps raisonnable,traiter des problèmes de plus en plus grands et ce très efficacement. À ces avancéesalgorithmiques s’ajoutent l’accroissement de la puissance des supercalculateurs, celle-ciétant principalement le fruit de la multiplication des unités de calcul au sein d’unmême système. Cependant, pour tirer parti efficacement de cette immense puissancede calcul, il faut adapter et/ou concevoir de nouveaux algorithmes. Cette thèse visenon seulement à l’élaboration d’approches boîtes grises massivement parallèles, maiségalement à obtenir une compréhension plus fine de la dynamique et des synergiesdes opérateurs boîtes grises les plus puissants, et ce, dans un environnement parallèle,mais aussi séquentiel.Plus précisément, nous nous concentrons sur les problèmes d’optimisation pseudo-booléens k-bornés modélisables par des paysages Mk et plus particulièrement sur desinstances de très grande taille. La communauté a proposé des algorithmes avancésexploitant les informations disponibles sur la structure de ce type de problèmes génériques. Parmi ceux-ci, on retrouve des recherches locales de type hill climber capablesde trouver les mouvements améliorants en temps constant ; ainsi que des opérateursde croisement recombinant deux optima locaux afin d’en obtenir un nouveau, tout enayant la garantie que ce dernier soit au moins d’aussi bonne qualité que la meilleuredes deux solutions croisées, et ce, en un temps linéaire.Dans ce contexte, nos contributions se regroupent en deux parties. Dans une premièrepartie, nous nous concentrons sur la conception d’approches parallèles. Nous pro-posons d’abord une variante d’un hill climber basée sur la coloration de graphes etfonctionnant en mémoire partagée. Nous proposons ensuite une nouvelle approchecomplètement distribuée, coopérative et massivement parallèle, fonctionnant sur l’undes plus puissants calculateurs au monde, le Fugaku. Dans une seconde partie, nousnous concentrons sur la dynamique de recherche induite par l’utilisation des croisements boîte grise. Nous décrivons deux contributions qui améliorent successivementl’état de l’art existant. La première concerne la conception et l’analyse de nouvellesstratégies d’échappement avancées, tandis que la seconde s’intéresse à l’ajout d’unephase d’initialisation permettant de diriger la recherche vers des zones prometteusesde l’espace de recherche. Nous concluons nos investigations par une étude comparativeapprofondie de la synergie entre les approches proposées et les différents opérateursde croisement de la littérature, permettant ainsi de mieux appréhender la dynamiquede recherche des approches proposées, et de discuter des pistes d’amélioration fondéessur de solides observations empiriques.Show less >
English abstract : [en]
In contrast to blackbox optimization, graybox optimization assumes that some information is available about the structure of the problem to be solved. This informationallows us to design highly efficient solving approaches. ...
Show more >In contrast to blackbox optimization, graybox optimization assumes that some information is available about the structure of the problem to be solved. This informationallows us to design highly efficient solving approaches. As a result, increasingly large-size problems can be solved very efficiently, in a reasonable amount of time. In additionto such algorithmic advances, the power of supercomputers continues to increase verysubstantially, mainly as a result of the increasing number of computing units that canbe used. However, in order to make the most effective use of the implied computing power, new algorithms need to be adapted and/or designed. The aim of this thesis is bothto develop massively parallel gray-box approaches, and to gain a more fundamentalunderstanding of the dynamics of the latest graybox operators, in both parallel andsequential environments.More precisely, we focus on solving large-size k-bounded pseudo-Boolean optimizationproblems modeled as MK-landscapes. In recent years, the community has made a lotof advances in exploiting the information available on the structure of these genericoptimization problems. This includes the design of hill climbers, and local searchbased heuristics, that are able to find improving moves in constant time, as well asevolutionary crossover operators that can successfully recombine two local optima inlinear time in the size of the problem.In this context, our contributions can be grouped into two parts. In the first part,we focus on the design of scalable parallel solving approaches. We propose a sharedmemory parallel hill climber variant based on graph coloring. We then investigate thedesign and analysis of a fully distributed, cooperative and massively parallel approachrunning on one of the world’s most powerful computers, the Fugaku. In the secondpart, we focus on the search dynamics induced by the use of graybox crossovers. Wedescribe two contributions improving the existing state-of-the-art solving approaches.The first contribution relates to the design and analysis of novel escape strategies, andthe second one focuses on the design of a warming initialisation phase to guide thesearch towards more promising areas of the search space. We conclude our investigations with a comprehensive in-depth comparative study on the synergy betweenthe proposed approaches and the various crossover operators from in the literature ;thereby enabling a better fundamental understanding of the search dynamics of theproposed approaches, and highlighting new empirical findings that should lead to newimproved algorithmsShow less >
Show more >In contrast to blackbox optimization, graybox optimization assumes that some information is available about the structure of the problem to be solved. This informationallows us to design highly efficient solving approaches. As a result, increasingly large-size problems can be solved very efficiently, in a reasonable amount of time. In additionto such algorithmic advances, the power of supercomputers continues to increase verysubstantially, mainly as a result of the increasing number of computing units that canbe used. However, in order to make the most effective use of the implied computing power, new algorithms need to be adapted and/or designed. The aim of this thesis is bothto develop massively parallel gray-box approaches, and to gain a more fundamentalunderstanding of the dynamics of the latest graybox operators, in both parallel andsequential environments.More precisely, we focus on solving large-size k-bounded pseudo-Boolean optimizationproblems modeled as MK-landscapes. In recent years, the community has made a lotof advances in exploiting the information available on the structure of these genericoptimization problems. This includes the design of hill climbers, and local searchbased heuristics, that are able to find improving moves in constant time, as well asevolutionary crossover operators that can successfully recombine two local optima inlinear time in the size of the problem.In this context, our contributions can be grouped into two parts. In the first part,we focus on the design of scalable parallel solving approaches. We propose a sharedmemory parallel hill climber variant based on graph coloring. We then investigate thedesign and analysis of a fully distributed, cooperative and massively parallel approachrunning on one of the world’s most powerful computers, the Fugaku. In the secondpart, we focus on the search dynamics induced by the use of graybox crossovers. Wedescribe two contributions improving the existing state-of-the-art solving approaches.The first contribution relates to the design and analysis of novel escape strategies, andthe second one focuses on the design of a warming initialisation phase to guide thesearch towards more promising areas of the search space. We conclude our investigations with a comprehensive in-depth comparative study on the synergy betweenthe proposed approaches and the various crossover operators from in the literature ;thereby enabling a better fundamental understanding of the search dynamics of theproposed approaches, and highlighting new empirical findings that should lead to newimproved algorithmsShow less >
Language :
Français
Collections :
Source :