Retour au format normal

Infrastructure d'EVALuation à ELDA

Fiche du 12 mai 2003

Résumé |  Objectifs |  Mise en oeuvre et état de l'art |  Organisation |  Retombées |  Avancement |  Partenaires |  Contacts

Thème de l'action Évaluation Début du projet 4 décembre 2002 Durée du projet 36 mois

Résumé

Le projet EVALDA a pour objectif la constitution d'une infrastructure d'évaluation des systèmes d'ingénierie linguistique du français, pérenne et permanente, et son exploitation par la mise en oeuvre de plusieurs expérimentations. Cette infrastructure assemble plusieurs « briques », réutilisables : organisation, logistique, ressources linguistiques, métriques et outils, ainsi que des acteurs (comités scientifiques, experts, partenaires, etc.). Elle garantit d'une part la possibilité de capitaliser les résultats des précédentes expérimentations et d'autre part favorise la recherche de collaborations et la mise en place de nouvelles campagnes à chaque acteur. En effet, les résultats capitalisés doivent permettre de refaire à tout moment une expérimentation déjà terminée (à titre d'exemple, ELDA distribue déjà le cédérom Amaryllis, qui permet de reproduire une évaluation de moteur de recherche d'information francophone). Des projets de campagne permettent de mettre en action l'infrastructure. Les campagnes d'évaluation portent sur des thèmes variés mais constituant un ensemble cohérent, qui couvrent le domaine de l'oral et de l'écrit : ARCADE II (Action de Recherche Concertée sur l'Alignement de Documents et son Evaluation) ; CESART (Campagne d'Evaluation de Systèmes d'Acquisition de Ressources Terminologiques) ; CESTA (Campagne d'Evaluation de Systèmes de Traduction Automatique) ; EASy (Evaluation des Analyseurs Syntaxiques) ; EqueR (Evaluation en QUEstions-Réponses) ; ESTER (Evaluation des systèmes de transcription enrichie d'émissions radiophoniques) ; EvaSy (Evaluation des Synthétiseurs de parole en français) ; MEDIA (Méthodologie d'Evaluation de la compréhension du DIAlogue hors et en contexte).

Objectifs

S'inspirant des précédents efforts pour définir un cadre générique à l'évaluation, le projet EVALDA se propose : de mettre en place une infrastructure d'évaluation générique, destinée à être permanente et pérenne ; de favoriser la réutilisabilité des données produites ; de travailler sur la langue française et aborder des pistes multilingues ; d'initier des nouvelles campagnes d'évaluation qui permettent de développer soit des alternatives à des méthodes/métriques existantes, soit des propositions pour des domaines non encore défrichés (identification des langues, etc.).

Mise en œuvre et état de l'art

Une activité d'évaluation régulière, pérenne, permanente, peut se justifier à différents niveaux : scientifique : l'évaluation permet des avancées technologiques, soutient des technologies innovantes, des expérimentations permettent de rassembler la communauté scientifique et/ou économique et de favoriser les échanges, elles diminuent les barrières culturelles entre les différents domaines d'application, etc. ; économique : des expérimentations d'évaluation pourraient aider à voir plus clair, en terme d'avantages et d'inconvénients respectifs des outils par rapport à leurs domaines d'application privilégiés, elles favorisent le transfert de technologie entre d'une part la recherche et l'industrie et d'autre part, l'industrie et le marché ; institutionnel : l'activité d'évaluation en France et en Europe est moins homogène qu'aux Etats-Unis et au Japon qui jouissent d'un soutien institutionnel et financier. C'est pour répondre à ce manque, aussi bien en France qu'en Europe, que le projet d'une infrastructure pérenne est proposé.

Organisation

Le projet EVALDA comprend trois phases. La première phase est une phase d'exploration et de mise au point du cadre général d'évaluation. Cette phase implique les activités suivantes : la réalisation d'études sur l'état de l'art ; la définition et la diffusion des tâches d'évaluation, des types de requêtes, etc. ; la mise au point des métriques et d'outils ; la spécification ou la validation des ressources adéquates pour les expérimentations envisagées. La seconde phase est une phase de définition et de mise en place de campagnes, exploratoires, technologiques ou utilisateurs. Chaque campagne comprendra : un appel à participation ; une phase d'entraînement ; une phase de test : résultats accessibles aux seuls participants, publications non réservées ; un atelier final. La troisième phase consiste à faire un bilan et à capitaliser autour des résultats obtenus. Elle implique les activités suivantes : la réalisation de publications ; la distribution de boîtes à outils d'évaluation ou, a minima, de nouvelles ressources, par domaine (campagne).

Retombées du projet

Le projet EVALDA permettra d'une part : de mettre en place une infrastructure permanente et pérenne capable de rendre service à tous les utilisateurs de technologies de la langue ; de réaliser des boîtes à outil d'évaluation, directement réutilisables, soit par les développeurs de technologies, soit par des prestataires de services agissant pour le compte d'utilisateurs ; de tester et donc de voir si les technologies en jeu sont mûres pour le marché ; de participer à la création/renforcement des communautés (recherche et applications), favoriser les échanges ; d'amplifier les efforts antérieurs (méthodologies génériques proposées par ELSE, campagnes comme les ARC de l'AUF, etc.) et en pérenniser les résultats.

Etat d'avancement

Projet en cours. Les fiches des projets EVALDA contiennent les états d'avancement de chacun des projets.

Partenaires du projet   organisateur ELDA ensemble des partenaires des différentes campagnes ARCADE II CESART CESTA, etc.

Contact   Khalid Choukri ELDA - 55-57, rue Brillat Savarin - 75013 Paris Tel. : 01 43 13 33 33 ; Fax : 01 43 13 33 30 Mel : choukri@elda.org