Intégration d’informations contextuelles et de sens commun pour la compréhension automatique du discours :Contributions à la classification des relations temporelles et à la résolution des anaphores associatives

Abstract

Etablir l’ordre temporel entre les événements et résoudre les anaphores associatives sont cruciaux pour la compréhension automatique du discours. La résolution de ces tâches nécessite en premier lieu une représentation efficace des événements et de mentionsd’entités. Cette thèse s’attaque directement à cette problématique, à savoir la conception de nouvelles approches pour obtenir des représentations d’événements et de mentions plus expressives.Des informations contextuelles et de sens commun sont nécessaires pour obtenir de telles représentations. Cependant, leur acquisition et leur injection dans les modèles d’apprentissage est une tâche difficile car, d’une part, il est compliqué de distinguer le contexte utile à l’intérieur de paragraphes ou de documents plus volumineux, et il est tout aussi difficile au niveau computationnel de traiter de plus grands contextes. D’autrepart, acquérir des informations de sens commun à la manière des humains reste une question de recherche ouverte. Les tentatives antérieures reposant sur un codage manuel des représentations d’événements et de mentions ne sont pas suffisantes pour acquérir des informations contextuelles. De plus, la plupart des approches sont inadéquates pour capturer des informations de sens commun, car elles ont à nouveau recours à des approches manuelles pour acquérir ces informations à partir de sources telles que des dictionnaires, le Web ou des graphes de connaissances. Dans notre travail, nous abandonnons ces approches inefficaces d’obtention de représentations d’événements etde mentions. Premièrement, nous obtenons des informations contextuelles pour améliorer les représentations des événements en fournissant des n-grams de mots voisins de l’événement. Nous utilisons également une représentation des événements basée sur les caractères pour capturer des informations supplémentaires sur le temps et l’aspect de la structure interne des têtes lexicales des événements. Nous allons aussi plus loin en apprenantles interactions sur ces représentations d’événements pour obtenir des représentations riches de paires d’événements. Nous constatons que nos représentations d’événements améliorées démontrent des gains substantiels par rapport à une approche qui ne repose que sur les plongements de la tête lexical de l’événement. De plus, notre étude d’ablation prouve l’efficacité de l’apprentissage d’interactions complexes ainsi que le rôledes représentations basées sur les caractères.Ensuite, nous sondons les modèles de langage de type transformer (par exemple BERT) qui se sont révélés meilleurs pour capturer le contexte. Nous étudions spécifiquement les anaphores associatives pour comprendre la capacité de ces modèles à capturer ce type derelation inférentielle. Le but de cette étude est d’utiliser ces connaissances pour prendre des décisions éclairées lors de la conception de meilleurs modèles de transformer afin d’améliorer encore les représentations des mentions. Pour cela, nous examinons individuellement la structure interne du modèle puis l’ensemble du modèle. L’examen montre que les modèles pré-entraînés sont étonnamment bons pour capturer des informationsassociatives et que ces capacités dépendent fortement du contexte, car elles fonctionnent mal avec des contextes déformés. De plus, notre analyse qualitative montre que BERT est capable de capturer des informations de base de sens commun mais ne parvient pas à capturer des informations sophistiquées, qui sont nécessaires pour la résolution des anaphores associatives.Enfin, nous combinons à la fois des informations contextuelles et de sens commun pour améliorer encore les représentations des événements et des mentions. Nous injectons des informations de sens commun à l’aide de graphes de connaissances pour les tâches de classification des relations temporelles et de résolution d’anaphores associatives. Notre approche pour acquérir de telles connaissances se fonde sur des plongements de nœuds de graphe appris sur des graphes de connaissances pour capturer la topologie globale du graphe, obtenant ainsi des informations externes plus globales. Plus précisément, nous combinons des représentations basées sur des graphes de connaissances et desreprésentations contextuelles apprises avec des plongements uniquement textuels pour produire des représentations plus riches en connaissances. Nous évaluons notre approche sur des jeux de données standard comme ISNotes, BASHI et ARRAU pour la résolution des anaphores associatives et MATRES pour la classification des relations temporelles. Nous observons des gains substantiels de performance par rapport aux représentationsuniquement textuelles sur les deux tâches démontrant l’efficacité de notre approche.