algorithmes budgétisés d’itération sur les politiques obtenues par classification

Abstract

Cette thèse étudie une classe d’algorithmesd’apprentissage par renforcement (RL), appelée « itération sur les politiques obtenuespar classification » (CBPI). Contrairement aux méthodes standards de RL, CBPIn’utilise pas de représentation explicite de la fonction valeur. CBPI réalise des déroulés(des trajectoires) et estime la fonction action-valeur de la politique courante pour unnombre limité d’états et d’actions. En utilisant un ensemble d’apprentissage con-struit à partir de ces estimations, la politique gloutonne est apprise comme le produitd’un classificateur. La politique ainsi produite à chaque itération de l’algorithme,n’est plus définie par une fonction valeur (approximée), mais par un classificateur.Dans cette thèse, nous proposons de nouveaux algorithmes qui améliorent les perfor-mances des méthodes CBPI existantes, spécialement lorsque le nombre d’interactionsavec l’environnement est limité. Nos améliorations se portent sur les deux limitationsde CBPI suivantes : 1) les déroulés utilisés pour estimer les fonctions action-valeurdoivent être tronqués et leur nombre est limité, créant un compromis entre le biais etla variance dans ces estimations, et 2) les déroulés sont répartis de manière uniformeentre les états déroulés et les actions disponibles, alors qu’une stratégie plus évoluéepourrait garantir un ensemble d’apprentissage plus précis. Nous proposons des algo-rithmes CBPI qui répondent à ces limitations, respectivement : 1) en utilisant uneapproximation de la fonction valeur pour améliorer la précision (en équilibrant biais etvariance) des estimations, et 2) en échantillonnant de manière adaptative les déroulésparmi les paires d’état-action.