00000001.jpg

CHERCHER

Accueil Actualités Dépêches Coup de projecteur Manifestations Contact

Technologies de la Langue

Imprimer cet article

  EVALDA - CESART
mercredi 29 novembre 2006


Campagne d'Evaluation de Systèmes d'Acquisition de Ressources terminologiques

Thème de l'action : Evaluation des technologies linguistiques (projet EVALDA)

Contact
 
Olivier Hamon, hamon@elda.org
Widad Mustafa El Hadi, widad.mustafa@free.fr

Page du projet sur le site elda.org
 


Résumé

La campagne d'évaluation CESART s'inscrit dans la suite de la campagne évaluation d'outils d'acquisition de ressources terminologiques à partir de corpus écrits (ARC A3), entrepris dans le cadre des Actions de Recherche Concertées (ARCs) de l'AUF – Agence Universitaire de la Francophonie (ex-AUPELF-UREF). Dans CESART, il s'agit de repartir de l'expérience acquise dans le cadre de l'ARC A3 de la campagne AUF.

Les systèmes évalués dans ce projet couvrent plus d'une catégorie dans le mode d'acquisition de ressources terminologiques; ont été examinés des extracteurs de terminologie et des extracteurs de relations sémantiques. L'évaluation est double. Elle porte sur les compétences de l'expertise humaine pour une évaluation manuelle et le développement d'un nouvel outil pour l'évaluation automatique avec des raffinements dans les métriques employées, ainsi que l'intégration de nouvelles fonctionnalités.

 

Résultats

LE PACKAGE D’EVALUATION CESART EST DESORMAIS DISPONIBLE AUPRES D’ELRA :

  • Package d’évaluation CESART (référence ELRA-E0019)
  • Ce package comprend l’ensemble des données utilisées lors de la campagne d’évaluation CESART. Il regroupe des ressources, des protocoles, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la campagne. Le but de ce « package » d’évaluation est de permettre à tout acteur externe de pouvoir évaluer son propre système.

A l'origine, trois tâches ont été prévues : l'extraction des termes pour la construction d'un référentiel terminologique ; l'extraction des termes pour l'indexation contrôlée et l'extraction des relations sémantiques. Faute de participants à la tâche d'extraction des termes pour l'indexation contrôlée, la campagne d'évaluation s'est déroulée en deux tâches :

  • Extraction des termes pour la construction d'un référentiel terminologique dont l'application est l'enrichissement du référentiel et l'indexation libre des documents ;
  • Extraction des relations sémantiques (synonymie) à partir d'une liste des termes amorces.

Pour la tâche d’extraction des termes, l’évaluation a été effectuée sur le corpus médical (Santé Canada). Les précisions des systèmes participants sont calculées selon les différents degrés de pertinence cités ci-dessus et sur les 1 000 premiers candidats termes extraits. La comparaison entre les systèmes s’avère difficile, puisque les systèmes ont renvoyés un grand nombre de candidats termes. On observe une forte disparité entre les résultats, si l’on considère le nombre de termes renvoyés. Il faut relativiser l’importance des résultats puisque les systèmes n’ont pas renvoyé le même nombre de candidats termes.

Les résultats, en moyenne, restent très modestes. Selon l’évaluation stricte (degré de pertinence le plus élevé), le meilleur système obtient 28,8% de précision (soit 288 bonnes réponses sur 1000) contre moins de 11% pour les 3 autres systèmes. Moins le degré de pertinence est élevé, meilleurs sont les résultats (jusqu’à 52% de précision pour l’un des systèmes).

Pour la tâche d’extraction des relations synonymiques, un seul système participant a été évalué sur le corpus médical. L’évaluation a été effectuée sur l’échantillon représentatif de la sortie de SYNOTERM. Seulement 4% des termes ont été jugés pertinents. Cet échantillon a été établi en fonction de la distribution des fréquences des termes dans le corpus. 102 synonymes jugés pertinents, sur l’échantillon de 2115 renvoyés.

 

  Ressources

Trois corpus en français des domaines spécialisés ont été construits : un corpus médical, un corpus du domaine de l’éducation, et un corpus politique. Les deux premiers ont été utilisés comme corpus de test, tandis que le troisième (corpus politique) a été utilisé comme corpus de masquage. Le corpus médical est composé des pages web provenant du site Santé Canada (http://www.hc-sc.gc.ca/index_f.html). Le corpus du domaine de l’éducation contient des articles provenant de la revue de pédagogie et de recherche en éducation SPIRAL. Le corpus politique est composé des textes tirés du Journal Officiel de l’Union Européenne. En fonction des sources des corpus, différents traitements ont été effectués concernant le nettoyage et la remise en format. Les corpus sont encodés en UTF-8 et en XML. Ils sont disponibles en deux versions dont l’une pour DOS et l’autre pour UNIX. Le tableau ci-dessous présente quelques statistiques concernant les corpus pour l’évaluation :

Corpus (spécialité)

Médecine (corpus de test)

Education (corpus de test)

Politique (corpus de masquage)

Nombre de documents

7 514

149

1 477

Nombre de segments

255 161

12 109

9 024

Nombre de mots

9 000 000

535 000

240 000

Deux listes référentielles ont été construites à partir des deux terminologies du domaine spécialisé. La liste des termes médicaux est basée sur la terminologie provenant de l’équipe CISMeF (www.chu-rouen.fr/terminologiecismef). Cette liste contient 22 861 entrées. Pour le domaine de l’éducation, la liste référentielle est basée sur le thésaurus Motbis (www.cndp.fr/motbis) et composée de 36 081 entrées.

 

Publications
  • W. MUSTAFA EL HADI, I. TIMIMI, M. DABBADIE, K. CHOUKRI , O. HAMON, Y.-C. CHIAO, “Teminological Resources Acquisition tools : Towards a User-Oriented Evaluation Model”. In Proceedings of the 5th international Conference on Language Resources and Evaluation (LREC 2006), Genoa, Italy, May 2006, p. 945-948

  • I. TIMIMI, “Évaluation des systèmes d'acquisition de terminologie : nouvelles pratiques, nouvelles métriques”. In Actes des 8e journées internationales d'Analyse statistique des Données Textuelles (JADT 2006), Besançon, France, 19-21 April 2006.

  • W. MUSTAFA EL HADI, I. TIMIMI, K. CHOUKRI, Y.-C. CHIAO, O. HAMON, “CESART : Campagne d'Evaluation de Systèmes d'Acquisition des Ressources Terminologiques”, Lab. CERSATES CNRS-UMR 8529, Université Charles de Gaulle, Lille 3 & ELDA , In Atelier d'Evaluation des outils d'extraction terminologique dans le cadre de la Rencontre TIA (Terminologie et Intelligence Artificielle), Rouen, France, 3-4 April 2005

  • W. MUSTAFA EL HADI, I. TIMIMI, M. DABBADIE, “EVALDA-CESART Project: Terminological Resources Acquisition Tools Evaluation Campaign”. In : Proceedings of the 4th international Conference on Language Resources and Evaluation (LREC 2004), Lisboa, Portugal, May 2004.

  • V. MAPELLI, M. NAVA, S. SURCIN, D. MOSTEFA, K. CHOUKRI. “Technolangue: A Permanent Evaluation and Information Infrastructure”. In : Proceedings of the 4th international Conference on Language Resources and Evaluation (LREC 2004), Lisboa, Portugal, May 2004, p.381-384.

  • W. MUSTAFA EL HADI, I. TIMIMI, M. DABBADIE, “CESART : “Campagne d'Evaluation des Systèmes d'Acquisition de Ressources Terminologiques et Traduction Automatique”. In Proceedings of LREC 2004, Lisboa, Portugal, May 2004, p. 515-518.

  • W. MUSTAFA EL HADI, “Acquisition de ressources terminologiques”, (2004). In: Évaluation des Systèmes de traitement de l'information, sous la direction de Stéphane Chaudiron, Hermès, p. 149-169.


Partenaires du projet
 
  • Cersates, Université de Lille3
  • EDF (Electricité de France)
  • ELDA (Evaluations and Language resources Distribution Agency)
  • LIC2M (Laboratoire d'ingénerie de la connaissance multimédia multilingue), CEA/LIST
  • LIPN (Laboratoire d'Informatique de l'université Paris-Nord)
  • RALI/DIRO (Recherche appliquée en linguistique informatique/Département d'Informatique et recherche opérationnelle), Université de Montréal
  • TEMIS
 
Responsable du projet
 
  • Khalid Choukri
    ELDA 55-57, rue Brillat Savarin 75013 Paris
    Tel. : 01 43 13 33 33 ; Fax : 01 43 13 33 30
    Mél :  choukri@elda.org
  • Widad Mustafa El Hadi
    CERSATES Université de Lille III BP 149 - F - 59 653 Villeneuve d'Ascq Cedex
    Tel : 03 20 41 68 15 ; Fax : 03 20 41 63 61
    Mél : mustafa@univ-lille3.fr
 

Dates du projet
Date de début : 4 décembre 2002
Date de fin : mars 2006