logo GRACQ logo GDR-I3

Atelier
"Ontologies et Jeux de Données pour évaluer le web sémantique (OJD)" à IC 2012

26 juin 2012 de 14h30 à 18h à Paris (Centre des cordeliers)

L'atelier est organisé par le GRACQ et par le thème 7 du GDR-I3.

Problématique

Peu de ressources sont aujourd'hui disponibles pour évaluer les applications du Web sémantique. La plupart des ontologies disponibles sur le web (comme DBPedia, MusicBrainz, ...) ou proposées lors de campagnes d'évaluation (QALD dans le domaine des Questions/Réponses, Billion Triples Track pour évaluer le passage à l'échelle des applications, ...) présentent des lacunes qui empêchent une évaluation de qualité des applications développées.

Certaines de ces ontologies manquent d'expressivité. Lorsqu'elles sont formées d'une simple hiérarchie de concepts ou sont issues de schémas relationnels, elles offrent des possibilités d'inférence limitées. D'autres sont limitées en termes d'exhaustivité, même au sein d'un domaine. Le domaine couvert est restreint et il est fréquent que peu d'instances soient représentées.

Pour contourner ce manque, les travaux menés actuellement sont évalués sur des ontologies créées pour valoriser l'application. Ces ontologies sont complétées par des jeux de données (textes bruts, documents annotés, requêtes, ...) là aussi définis de façon ad hoc. Ces pratiques biaisent les résultats de l'évaluation et empêchent de mettre en place une comparaison objective des systèmes.

L'objectif de cet atelier est de décrire les besoins et de définir les critères auxquels doivent répondre les ontologies et les jeux de données qui pourront être mises à disposition de la communauté, permettant ainsi des évaluations pertinentes des applications les utilisant. Cet atelier a également pour vocation la présentation documentée et argumentée de ressources (ontologies et jeux de données) qui pourraient prétendre correspondre à des besoins d'évaluation ainsi que de protocoles d'évaluation d'applications, qui serviraient par la suite de référence.

Programme commun avec l'atelier Qualité et Robustesse pour le web de données

Comité de programme

Organisateurs

Membres