SEWS : un serveur d’évaluation orienté Web pour la syntaxe

Olivier Hamon*,**, Patrick Paroubek*** and Djamel Mostefa*
*ELDA; 55-57, rue Brillat-Savarin; 75013 Paris; (hamon, mostefa)@elda.org
**LIPN, Université de Paris XIII; 99 avenue J.-B. Clément; 93430 Villetaneuse
***LIMSI-CNRS, Bât. 508, Université Paris XI; BP 133; 91403 Orsay Cedex; pap@limsi.fr
Résumé
Les plates-formes d’évaluation sont à l’heure actuelle peu répandues et les enjeux qu’elles représentent sont certainement sous-estimés, dès lors qu’elles sont automatisées et proposées comme serveur Web : gain de temps, économies de moyens, progression plus rapide des systèmes, rassemblement d’une communauté autour d’un même paradigme d’évaluation ; les avantages sont nombreux. Dans cet article, nous proposons une plate-forme pour évaluer automatiquement des systèmes d’annotation syntaxique et relatons son déploiement en tant que service dans une campagne d’évaluation. Après avoir dressé un état de l’art des plates-formes utilisées pour l’évaluation de systèmes TAL et des outils disponibles pour la mise en place de serveurs Web, nous présentons notre plate-forme d’analyse syntaxique et sa mise en œuvre sous forme de serveur Web dans le projet PASSAGE, nous montrons ensuite l’intérêt de la généralisation d’un tel service à d’autres domaines du TAL.