Test de concordance de script : un nouveau mode d’établissement des scores limitant l’effet du hasard

Script Concordance Test: a New Scoring Method to Limit Guessing Effects

¹ Informatique médicale et Biostatistique - Université de Liège, Liège, Belgique
² Département de Médecine Générale - Université de Liège, Liège, Belgique

Auteur de correspondance : Sophie Vanbelle, Informatique médicale et Biostatistique - Université de Liège - CHU (B 23) - Sart Tilman. B-4000 Liège. Téléphone : 00 32 436 625 90. sophie.vanbelle@ulg.ac.be

Résumé

Contexte : La note obtenue au test de concordance de script (TCS) est actuellement calculée à partir de la méthode des scores combinés. But : Proposer une nouvelle mesure d’accord entre les réponses données au TCS par le candidat évalué et celles du panel d’experts. Résultats : Le système de notation actuel ne tient pas compte du fait qu’un certain nombre d’accords entre le candidat et le panel d’experts peut être fortuit. La mesure d’accord proposée permet de corriger ce fait. Conclusion : Cet article soulève le problème de scores obtenus fortuitement. La mesure d’accord développée permet d’améliorer le système de notation actuel.

Abstract

Context: The method of combined scores is currently used to determine the score obtained by the Script Concordance Test (SCT). Goal: To propose a novel measure of agreement between the SCT responses given by the candidate and those provided by the panel of experts. Results: The current scoring method of the SCT does not take into account the fact that agreement between the candidate and the panel of experts may be arbitrary. The proposed measure allows correcting this fact. Conclusion: This article addresses the problem of scores obtained by guessing. The new measure of agreement allows to improve the actual scoring method.