Le test de concordance de script, un instrument d’évaluation du raisonnement clinique

¹ Université of Montréal; Canada
² Université de Rouen; France
³ Université de Maastricht, Pays Bas.

Auteur de correspondance : Bernard Charlin, URDESS, Faculté de Médecine-Direction, Université de Montréal, CP 6128, succursale Centre-ville, Montréal, Québec, H3C 3J7 Canada. bernard.charlin@umontreal.ca

Résumé

Contexte : La capacité à résoudre des problèmes cliniques mal définis caractérise les médecins expérimentés et compétents. En matière d’évaluation, les modalités actuelles exigent un consensus entre les membres du jury sur la bonne réponse, or les médecins expérimentés varient dans le processus de raisonnement pour ce type de problème qui est en conséquence généralement exclu des évaluations. Ceci explique peut-être pourquoi les médecins expérimentés n’ob- tiennent pas, dans les évaluations écrites de compétence, des scores plus élevés que les médecins en fin de formation. But : Le test de concordance de script (TCS) est conçu pour mesurer la capacité à résoudre des problèmes mal définis. L’objectif de l’ article est de montrer l’intérêt du TCS aux enseignants en sciences de la santé en leur apportant les infor- mations pratiques nécessaires à l’utilisation d’un tel test. Méthode : Les bases théoriques du test, les principes concer- nant la tâche soumise aux candidats, la façon d’enregistrer les réponses et le processus d’établissement des scores sont expli - qués. Les étapes à suivre pour construire un TCS sont décrites. Les qualités psychométriques observées dans une série de travaux de recherche sont rapportées. Résultats : Plusieurs études menées dans différentes disciplines ont montré que le test permet de discriminer des niveaux d’expérience différents avec des caractéristiques psychométriques intéressantes ( validité de construit, validité prédictive, fidélité). Ces résultats sont brièvement présentés et commentés. Conclusion : Le TCS permet une évaluation standardisée des processus de raisonnement sur des problèmes cliniques mal définis.

Abstract

The capacity to solve ill-defined problems is a characteristic of experienced and competent physicians. The current methods used in standard evaluation of competence is to get a panel of experts to reach a consensus about the «good answer» whereas it is observed that experienced physicians vary in their reasoning process in the realm of ill-defined problems. Thus, these kinds of problems are usually excluded from the tests. This may explain why, on written assessments, experienced physicians frequently obtain lower scores than at the end-of-training physicians. Goal: The Script Concordance Test (SCT) is set to measure the capacity to resolve problems in the context of ill-defined clinical situations. The object of this article is to demonstrate the usefulness of the SCT to teachers in health sciences and to give all the practical information to use the test. Method: The theoretical foundations of the test, the principles surrounding the task given to candidates, the processes of answer recording and score setting are explained. The steps to follow in the construction of a SCT are described. The essential psychometric properties derived from a series of studied are also reported. Results: Studies in seve ral medical fields have shown that the SCT do discriminate levels of clinical experience and possess satisfying psychometric properties (construct and predictive validity, reliability). Main results are presented and commented. Conclusion: The SCT permits a standardized assessment of reasoning processes in the context of ill-defined clinical situations.