Laboratoire de recherche en Sciences Cognitives

2006-02-08

Évaluation de l'exactitude des résultats donnés par le robot

Dans le but d'évaluer l'exactitude (attributs du logiciel portant sur la fourniture de résultats ou d’effets justes ou convenus [ISO/CEI9126])  des résultats donnés par le robot, on a appliqué la théorie de détection de signal. Premièrement on a échantillonné 100 articles indiqués par le robot en accès libre et 100 articles indiqués par le robot non en accès libre; ensuite, on a procédé à une vérification manuelle des résultats. Cette vérification nous a permit de diviser les résultats donnés par le robot en quatre groupes (pour plus de détails cliquez ici) :

 

- Les vrais OA: le fichier trouvé par le robot correspond à l'article recherché.

- les vrais non OA: le robot indique que l'article n'est pas en accès libre et la vérification manuelle le confirme.

- Les faux OA: le fichier trouvé par le robot ne correspond pas à l'article recherché.

- Les faux non OA: le robot indique que l'article n'est pas en accès libre cependant la vérification manuelle l'infirme.

 
Matrice de décision
  Vérification manuelle
Robot   OA NOA
OA 81 19
NOA 6 94
Total 87 113

 

Ceci nous a permit de calculer le taux de réussite et d'échec du robot.

Taux de réussite (hit rate) = Vrai OA/ (Vrai OA + Faux NOA)
Taux d'échec (false alarm rate) = Faux OA / (Faux OA + Vrai NOA)

 

  Probabilité z-scores
Taux de réussite (hit rate) 0,931034483 1,483540101
Taux d'échec (false alarm rate) 0,168141593  -0,961700604

 

Mesure de d' (discriminability index) et de ß (decision bias)

 

d'

2,445075164

ß

0,528257842

 

Le graphe est réalisé en utilisant l'applet fourni par Wise Project http://wise.cgu.edu/sdt/sdt.html

 

Interprétation des résultats

 

Plus que d' loin de 0 et proche de 2 est meilleure sera la qualité des recherches effectuées par le robot donc on peut affirmer que l'algorithme appliqué par le robot est efficace pour la tâche demandée.

 

Si ß =1 le robot est neutre c'est-à-dire il ne favorise ni les non OA, ni les OA.
Si ß > 1 le robot est plutôt conservateur et il a tendance à favoriser les non OA.
Si ß < 1 le robot est plus libéral il a tendance à favoriser les OA.

L'analyse des résultats montre que le ß<1 donc on peut conclure que le robot a plus tendance d'être libéral à neutre.

 

Références

[ISO/CEI9126] ISO/CEI9126. Technologie de l’information – Évaluation des produits logiciels – Caractéristiques de qualité et directives d’utilisation. 1991.

[Berger] Dale Berger An Introduction to Signal Detection Theory http://wise.cgu.edu/sdt/overview.html
[Wixted & Kang] John Wixted & Kang Lee Signal Detection Theory http://psy.ucsd.edu/~kang/sdt/sdt.htm
[Heeger] David Heeger Signal Detection Theory http://www.cns.nyu.edu/~david/sdt/sdt.html
[Schlichting & Nilsen] Carsten Schlichting & Erik Nilsen Signal Detection Analysis of WWW Search Engines http://www.microsoft.com/usability/webconf/schlichting/schlichting.htm