Principles of Evaluation in Natural Language ...
Document type :
Compte-rendu et recension critique d'ouvrage
Title :
Principles of Evaluation in Natural Language Processing
Author(s) :
Paroubek, Patrick [Auteur]
Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur [LIMSI]
Chaudiron, Stéphane [Auteur]
Groupe d'Études et de Recherche Interdisciplinaire en Information et COmmunication - ULR 4073 [GERIICO ]
Hirschman, Lynette [Auteur]
The MITRE corporation
Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur [LIMSI]
Chaudiron, Stéphane [Auteur]

Groupe d'Études et de Recherche Interdisciplinaire en Information et COmmunication - ULR 4073 [GERIICO ]
Hirschman, Lynette [Auteur]
The MITRE corporation
Journal title :
Revue TAL : traitement automatique des langues
Pages :
7-31
Publisher :
Association pour le Traitement Automatique des Langues (ATALA) / Klincksieck
Publication date :
2007-05-15
ISSN :
1248-9433
Keyword(s) :
évaluation
référence
technologie du langage
usage
système de dialogue
référence
technologie du langage
usage
système de dialogue
English keyword(s) :
gold standard
language technology
dialog system
language technology
dialog system
HAL domain(s) :
Sciences de l'Homme et Société/Sciences de l'information et de la communication
Sciences de l'Homme et Société/Linguistique
Sciences de l'Homme et Société/Linguistique
French abstract :
Dans ce numéro spécial de TAL nous nous intéressons aux principes fondamentaux qui sous-tendent l'évaluation pour le traitement automatique du langage naturel, que nous abordons de manière globale, c'est à dire au delà de ...
Show more >Dans ce numéro spécial de TAL nous nous intéressons aux principes fondamentaux qui sous-tendent l'évaluation pour le traitement automatique du langage naturel, que nous abordons de manière globale, c'est à dire au delà de l'horizon d'une seule campagne d'évaluation ou d'un protocole particulier. Après un rappel historique et terminologique, nous aborderons le sujet de la référence pour le traitement du langage naturel, de la qualité des annotations, de la quantité des données, des différence entre évaluation de technologie et évaluation d'usage, de l'évaluation des systèmes de dialogue, des standards avant de conclure sur une bref présentation des articles du numéro et quelques remarques prospectivesShow less >
Show more >Dans ce numéro spécial de TAL nous nous intéressons aux principes fondamentaux qui sous-tendent l'évaluation pour le traitement automatique du langage naturel, que nous abordons de manière globale, c'est à dire au delà de l'horizon d'une seule campagne d'évaluation ou d'un protocole particulier. Après un rappel historique et terminologique, nous aborderons le sujet de la référence pour le traitement du langage naturel, de la qualité des annotations, de la quantité des données, des différence entre évaluation de technologie et évaluation d'usage, de l'évaluation des systèmes de dialogue, des standards avant de conclure sur une bref présentation des articles du numéro et quelques remarques prospectivesShow less >
English abstract : [en]
In this special issue of TAL, we look at the fundamental principles underlying evaluation in natural language processing. We adopt a global point of view that goes beyond the horizon of a single evaluation campaign or a ...
Show more >In this special issue of TAL, we look at the fundamental principles underlying evaluation in natural language processing. We adopt a global point of view that goes beyond the horizon of a single evaluation campaign or a particular protocol. After a brief review of history and terminology, we will address the topic of a gold standard for natural language processing, of annotation quality, of the amount of data, of the difference between technology evaluation and usage evaluation, of dialog systems, and of standards, before concluding with a short discussion of the articles in this special issue and some prospective remarksShow less >
Show more >In this special issue of TAL, we look at the fundamental principles underlying evaluation in natural language processing. We adopt a global point of view that goes beyond the horizon of a single evaluation campaign or a particular protocol. After a brief review of history and terminology, we will address the topic of a gold standard for natural language processing, of annotation quality, of the amount of data, of the difference between technology evaluation and usage evaluation, of dialog systems, and of standards, before concluding with a short discussion of the articles in this special issue and some prospective remarksShow less >
Language :
Anglais
Popular science :
Non
Collections :
Source :
Files
- https://hal.archives-ouvertes.fr/hal-00502700/document
- Open access
- Access the document
- https://hal.archives-ouvertes.fr/hal-00502700/document
- Open access
- Access the document
- https://hal.archives-ouvertes.fr/hal-00502700/document
- Open access
- Access the document
- https://hal.archives-ouvertes.fr/hal-00502700/document
- Open access
- Access the document
- document
- Open access
- Access the document
- Intro_TAL_48_1.pdf
- Open access
- Access the document