Sélection de caractéristiques pour les champs aléatoires conditionnels par pénalisation L1

Nataliya Sokolovska*, Olivier Cappé* et François Yvon**
*Telecom ParisTech et LTCI/CNRS; sokolovska,cappe@telecom-paristech.fr
**Université Paris Sud 11 et LIMSI/CNRS; yvon@limsi.fr
Résumé
Les modèles probabilistes discriminants permettent de manipuler des représentations linguistiques riches, sous la forme de vecteurs de caractéristiques de très grande taille. Travailler en grande dimension pose des problèmes, en particulier computationnels, qui sont exacerbés dans le cadre de modèles de séquences tels que les champs aléatoires conditionnels (CRF). Sélectionner automatiquement les caractéristiques pertinentes s’avère alors intéressant et donne lieu à des modèles plus compacts et plus faciles à utiliser. Dans cette étude, nous proposons un algorithme d’estimation pour les CRF qui réalise une telle sélection, par le truchement d’une pénalisation L1 . Nous présentons également les résultats d’expériences menées sur des tâches de traitement des langues (le chunking et la détection des entités nommées). Nous proposons enfin des pistes pour améliorer l’efficacité computationelle de cette technique.
Document
Rank
5