De nouvelles perspectives pour la compréhension ...
Document type :
Habilitation à diriger des recherches
Permalink :
Title :
De nouvelles perspectives pour la compréhension du langage parlé : une vision interactive et dynamique intégrant l'identité des locuteurs
English title :
New insights in spoken language comprehension: an interactive and dynamic view taking into account the identity of speakers
Author(s) :
Brunelliere, Angele [Auteur]
Laboratoire Sciences Cognitives et Sciences Affectives - UMR 9193 [SCALab]

Laboratoire Sciences Cognitives et Sciences Affectives - UMR 9193 [SCALab]
Thesis director(s) :
Casalis, Severine
Defence date :
2019-11-13
Jury president :
Alario, François-Xavier
Accredited body :
Université de Lille
Doctoral school :
Sciences de l’Homme et de la Société
Keyword(s) :
Communication orale
Parole -- Compréhension
Reconnaissance des mots
Accents et accentuation
Prononciation
Comportement verbal
Langage par gestes
Expression du visage
Contexte (linguistique)
Sémantique et cognition
Parole -- Compréhension
Reconnaissance des mots
Accents et accentuation
Prononciation
Comportement verbal
Langage par gestes
Expression du visage
Contexte (linguistique)
Sémantique et cognition
English keyword(s) :
Oral communication
Intelligibility of speech
Word recognition
Accents and accentuation
Pronunciation
Verbal behavior
Gesture language
Facial expression
Context (Linguistics)
Semantics and cognition
Intelligibility of speech
Word recognition
Accents and accentuation
Pronunciation
Verbal behavior
Gesture language
Facial expression
Context (Linguistics)
Semantics and cognition
French abstract :
Dans le cadre théorique des processus impliqués dans la compréhension du langage parlé, je propose un programme de recherche visant à comprendre comment les contraintes sémantiques induites par le contexte d’une phrase ...
Show more >Dans le cadre théorique des processus impliqués dans la compréhension du langage parlé, je propose un programme de recherche visant à comprendre comment les contraintes sémantiques induites par le contexte d’une phrase ainsi que les informations phonologiques relatives aux locuteurs agissent sur la reconnaissance des mots parlés. Conformément aux propriétés des signaux vocaux, j'ai étudié séparément trois sources d'informations phonologiques relatives à l'identité des locuteurs : l'accent régional, l'intention de communiquer et les gestes visuels articulatoires. Jusqu'à présent, les modèles de reconnaissance des mots parlés et du traitement des phrases ne prennent pas en compte les informations phonologiques relatives à l'identité des locuteurs. Ma première ligne de recherche est axée sur l'accent régional des locuteurs et montre que l'accent du locuteur façonne les prédictions phonologiques de l'auditeur pendant la compréhension du langage parlé. Par ailleurs, les contraintes contextuelles provenant de l’accent du locuteur et celles sémantiques de plus haut niveau affectaient de manière interactive la reconnaissance des mots à des niveaux sous-lexical et lexical. Ces résultats sont conformes aux modèles interactifs de reconnaissance des mots parlés et plaident en faveur d’une vision prédictive de la compréhension du langage parlé. Dans une deuxième ligne de recherche, j’ai étudié l'interaction entre les contraintes sémantiques induites par le contexte d’une phrase et l'intention du locuteur. Il apparaît que l’intention du locuteur marquée par l’emphase prosodique dans un contexte de phrases induit des conséquences dans le traitement sémantique, affectant la reconnaissance des mots suivants. De plus, les prédictions top-down basées sur des contraintes sémantiques dans le traitement des phrases orales intègrent l'intention du locuteur en augmentant l'actualisation des mots prédits pour minimiser au mieux des erreurs possibles vis-à-vis du signal entrant. Mon troisième axe de recherche s’intéresse à l'interaction entre les contraintes sémantiques induites par le contexte d’une phrase et les gestes visuels articulatoires. Il apparaît que la parole audiovisuelle joue un rôle dans l’encodage de la phrase et la reconnaissance de mots et non simplement dans le traitement auditif. Dans l'ensemble, mes travaux mettent en évidence que les contraintes sémantiques et les informations phonologiques relatives aux locuteurs affectent la reconnaissance des mots parlés à travers un flux de l’information interactif et dynamique entre les différentes sources d'informations fournies par une phrase parlée. Pour avoir une vue complète des processus de compréhension du langage parlé, je défends l’idée qu’il est nécessaire d’une part de caractériser comment le flux descendant basé sur des mécanismes prédictifs assure une compréhension réussie et adaptée du langage parlé en prenant en compte l'identité des locuteurs et d’autre part de développer un modèle multi-niveaux comprenant les différentes représentations linguistiques (phonologique, sémantique et morphosyntaxique) activées à partir du signal de parole.Show less >
Show more >Dans le cadre théorique des processus impliqués dans la compréhension du langage parlé, je propose un programme de recherche visant à comprendre comment les contraintes sémantiques induites par le contexte d’une phrase ainsi que les informations phonologiques relatives aux locuteurs agissent sur la reconnaissance des mots parlés. Conformément aux propriétés des signaux vocaux, j'ai étudié séparément trois sources d'informations phonologiques relatives à l'identité des locuteurs : l'accent régional, l'intention de communiquer et les gestes visuels articulatoires. Jusqu'à présent, les modèles de reconnaissance des mots parlés et du traitement des phrases ne prennent pas en compte les informations phonologiques relatives à l'identité des locuteurs. Ma première ligne de recherche est axée sur l'accent régional des locuteurs et montre que l'accent du locuteur façonne les prédictions phonologiques de l'auditeur pendant la compréhension du langage parlé. Par ailleurs, les contraintes contextuelles provenant de l’accent du locuteur et celles sémantiques de plus haut niveau affectaient de manière interactive la reconnaissance des mots à des niveaux sous-lexical et lexical. Ces résultats sont conformes aux modèles interactifs de reconnaissance des mots parlés et plaident en faveur d’une vision prédictive de la compréhension du langage parlé. Dans une deuxième ligne de recherche, j’ai étudié l'interaction entre les contraintes sémantiques induites par le contexte d’une phrase et l'intention du locuteur. Il apparaît que l’intention du locuteur marquée par l’emphase prosodique dans un contexte de phrases induit des conséquences dans le traitement sémantique, affectant la reconnaissance des mots suivants. De plus, les prédictions top-down basées sur des contraintes sémantiques dans le traitement des phrases orales intègrent l'intention du locuteur en augmentant l'actualisation des mots prédits pour minimiser au mieux des erreurs possibles vis-à-vis du signal entrant. Mon troisième axe de recherche s’intéresse à l'interaction entre les contraintes sémantiques induites par le contexte d’une phrase et les gestes visuels articulatoires. Il apparaît que la parole audiovisuelle joue un rôle dans l’encodage de la phrase et la reconnaissance de mots et non simplement dans le traitement auditif. Dans l'ensemble, mes travaux mettent en évidence que les contraintes sémantiques et les informations phonologiques relatives aux locuteurs affectent la reconnaissance des mots parlés à travers un flux de l’information interactif et dynamique entre les différentes sources d'informations fournies par une phrase parlée. Pour avoir une vue complète des processus de compréhension du langage parlé, je défends l’idée qu’il est nécessaire d’une part de caractériser comment le flux descendant basé sur des mécanismes prédictifs assure une compréhension réussie et adaptée du langage parlé en prenant en compte l'identité des locuteurs et d’autre part de développer un modèle multi-niveaux comprenant les différentes représentations linguistiques (phonologique, sémantique et morphosyntaxique) activées à partir du signal de parole.Show less >
English abstract : [en]
In the theoretical framework of the processes involved in spoken-language comprehension, I propose a research program that aims at understanding how the semantic constraints driven by the sentence context, as well as ...
Show more >In the theoretical framework of the processes involved in spoken-language comprehension, I propose a research program that aims at understanding how the semantic constraints driven by the sentence context, as well as phonological information related to the speakers, act upon spoken word recognition. In line with the properties of speech signals, I have studied separately three sources of phonological information related to the identity of speakers: regional accent, intention to communicate and visible articulatory gestures. To date, the models for spoken-word recognition and models for sentence processing have not taken into account the phonological information related to the identity of speakers. My first line of research focuses on speakers’ regional accent and shows that a speaker’s accent shapes the listeners’ phonological predictions during spoken language comprehension. In addition, the two contextual constraints— speaker’s accent and high-level semantic constraints—imposed by sentence context interacts in word recognition at sublexical and lexical levels. These findings are consistent with interactive models of spoken-word recognition and support a predictive view of spoken language comprehension. In my second line of research, I have studied the interplay between semantic constraints driven by sentence context and the intention of speakers. Emphasizing a sentential context induces on-line consequences of semantic processing in discourse that affect the processing of the subsequent words. Moreover, neuronal top-down predictions based on semantic constraints in spoken-sentence processing integrate the speaker’s intention by increasing the updating of lexical predictions to minimize prediction errors about the speech input. My third line of research focuses on the interplay between semantic constraints driven by sentence context and visible articulatory gestures. It appears that audiovisual speech contributes to the encoding of spoken utterance and word recognition and not simply to auditory processing. Taken together, my work shows that semantic constraints and the phonological information related to the speaker affects spoken-word recognition through an interactive and dynamic information flow between the different sources of information provided by a sentence. Finally, I defend the idea that a complete view of the processes of the spoken language comprehension needs to characterize how the top-down flow based on predictive mechanisms ensures a successful and adaptive comprehension of spoken language by taking into account the identity of speakers and that it must develop a multi-level model including the different linguistic representations (phonological, semantic and morphosyntactic) activated from the speech inputShow less >
Show more >In the theoretical framework of the processes involved in spoken-language comprehension, I propose a research program that aims at understanding how the semantic constraints driven by the sentence context, as well as phonological information related to the speakers, act upon spoken word recognition. In line with the properties of speech signals, I have studied separately three sources of phonological information related to the identity of speakers: regional accent, intention to communicate and visible articulatory gestures. To date, the models for spoken-word recognition and models for sentence processing have not taken into account the phonological information related to the identity of speakers. My first line of research focuses on speakers’ regional accent and shows that a speaker’s accent shapes the listeners’ phonological predictions during spoken language comprehension. In addition, the two contextual constraints— speaker’s accent and high-level semantic constraints—imposed by sentence context interacts in word recognition at sublexical and lexical levels. These findings are consistent with interactive models of spoken-word recognition and support a predictive view of spoken language comprehension. In my second line of research, I have studied the interplay between semantic constraints driven by sentence context and the intention of speakers. Emphasizing a sentential context induces on-line consequences of semantic processing in discourse that affect the processing of the subsequent words. Moreover, neuronal top-down predictions based on semantic constraints in spoken-sentence processing integrate the speaker’s intention by increasing the updating of lexical predictions to minimize prediction errors about the speech input. My third line of research focuses on the interplay between semantic constraints driven by sentence context and visible articulatory gestures. It appears that audiovisual speech contributes to the encoding of spoken utterance and word recognition and not simply to auditory processing. Taken together, my work shows that semantic constraints and the phonological information related to the speaker affects spoken-word recognition through an interactive and dynamic information flow between the different sources of information provided by a sentence. Finally, I defend the idea that a complete view of the processes of the spoken language comprehension needs to characterize how the top-down flow based on predictive mechanisms ensures a successful and adaptive comprehension of spoken language by taking into account the identity of speakers and that it must develop a multi-level model including the different linguistic representations (phonological, semantic and morphosyntactic) activated from the speech inputShow less >
Language :
Anglais
Collections :
Submission date :
2020-12-14T14:57:55Z
Files
- HDR_BRUNELLIERE_Angele-Diffusion-Intranet-AvecPublications.pdf
- Non spécifié
- Restricted access
- Access the document
- HDR_BRUNELLIERE_Angele_Diffusion-Internet.pdf
- Non spécifié
- Open access
- Access the document