Adjonction de descripteurs qualitatifs à l’échelle ordinale des épreuves de format mini-CEX pour optimiser l’évaluation formative des compétences cliniques

Addition of Qualitative Descriptors to the Ordinal Scale of a Mini-CEX-Type Examination to Improve Formative Assessment of Clinical Competence

¹ Département de Médecine - Faculté de médecine - Université de Montréal
² Centre de pédagogie appliquée aux sciences de la santé (CPASS)- Université de Montréal et Collège des médecins du Québec

Auteur de correspondance : Diem-Quyen Nguyen, Centre hospitalier universitaire de Montréal - Hôpital Saint-Luc - Service de Médecine interne. 1058 Saint-Denis - H2X 3J4 Montréal (Québec) Canada. Téléphone : (514) 890-8000, poste 32584. Télécopieur : (514) 412-7308. diem.quyen.nguyen@umontreal.ca

Résumé

Contexte : Les échelles de mesure qui servent actuellement à évaluer des compétences cliniques sont souvent de type Likert. Or, dans une perspective d’évaluation formative où un grand nombre de professeurs et d’étudiants sont impliqués, l’utilisation de ces échelles pour la rétroaction est très inégale. Il est alors suggéré que les standards de performance soient décrits explicitement sur ces échelles pour faciliter la rétroaction. But :Vérifier si l’adjonction à l’échelle de mesure globale des mini-CEX de descripteurs explicitant ces standards affecte la validité et la fidélité des mesures enregistrées lors des sessions d’observation directe des performances cliniques. Méthode : Pendant une période de 18 mois, 86 résidents des niveaux I à III en médecine interne ont eu des séances d'observation directe par 50 professeurs-cliniciens. Résultats : L’analyse de la consistance interne montre un coefficient alpha de Cronbach à 0,90. Cette échelle modifiée permet de plus la distinction des performances entre les résidents I et III et montre une progression de performance sur 18 mois. Conclusion : Lorsqu’elle est utilisée dans une perspective d’évaluation formative, l’ajout de descripteurs qualitatifs à une échelle de mesure globale ne emble affecter ni la fidélité des mesures, ni leur validité. Cette modalité pourrait notamment être explorée lorsque la formation professorale à des outils de mesure s'avère difficile par manque de temps.

Abstract

Background: Global rating scales, presently used to assess clinical competencies, are often of the Likert type. In a perspective of formative assessment where numerous clinical teachers and students are involved, the use of Likert scales for feedback is very unequal. It has been suggested that performance standards explicitly described on these scales would improve feedback. Aim: To verify if the addition of descriptors on scales of the mini-CEX-type examination affects the reliability and the validity of measurements recorded during sessions of direct observations of clinical performances. Method: Desirable behaviours are incorporated in the mini-CEX rating scale. Over a period of 18 months, 50 clinical teachers used that scale to observe directly 86 first to third year post-graduate students in internal medicine for formative assessment purposes. Results: Statistical analysis has shown a Cronbach's alpha coefficient of 0.90. Furthermore, this modified scale helps to distinguish training levels and shows a tendency of improvement in the residents’ performance over the 18-months period. Conclusion: This study shows that the addition of descriptors to a global rating scale does not seem to affect its reliability and validity when it is used in a structured formative assessment.