Validation d'un outil critérié d'évaluation des compétences des résidents en médecine familiale : étude qualitative du processus de réponse

Validation of a criterion-referenced competency assessment tool for family medicine residents: a qualitative study of the response process

Département de médecine familiale et de médecine d'urgence, Université Laval, Québec, Canada

^* Correspondance et offprints : Miriam LACASSE, Département de médecine familiale et de médecine d'urgence, Faculté de médecine, Pavillon Ferdinand-Vandry, bureau 4486, Université Laval, 1050 avenue de la Médecine, G1V 0A6 Québec (QC). Mailto : miriam.lacasse@mfa.ulaval.ca

Reçu : 24 Novembre 2016
Accepté : 1 Novembre 2017
commentaires éditoriaux formulés aux auteurs le 7 mai et le 31 octobre 2017

Résumé

Contexte : L'implantation de l'approche par compétences prescrit aux programmes de formation médicale postdoctorale un ajustement de leurs stratégies d'évaluation. Un outil critérié d'évaluation des compétences (OCÉC) a été élaboré à partir de jalons ayant fait l'objet d'une validation de contenu, mais le processus de réponse restait à valider avant son implantation. Objectifs : Évaluer le processus de réponse à l'OCÉC et identifier les difficultés rencontrées par ses usagers pouvant introduire des biais dans l'évaluation. Méthodes : Étude qualitative auprès de dix cliniciens-enseignants volontaires. La collecte de données s'est effectuée au cours d'entrevues individuelles utilisant la méthode de la pensée à voix haute. Une analyse de contenu des verbatims a été réalisée par trois chercheurs, ce qui a permis la triangulation des données. La structure de codification se compose de quatre thèmes : compréhension, récupération de l'information, jugement et sélection de la réponse. Résultats : La compréhension et la récupération de l'information posaient généralement peu problème. Des difficultés aux étapes du jugement (indicateurs hétérogènes et évaluation normative) et de sélection de la réponse (échelle de réponse inadéquate) ont été relevées. Discussion et conclusion : Cette étude a permis de vérifier le processus de réponse à l'OCÉC, qui s'est avéré adéquat pour la compréhension et la récupération de l'information, mais à améliorer en regard du jugement et de la sélection de la réponse. L'OCÉC a été révisé en fonction des résultats obtenus avant son implantation. L'évaluation en cours de la structure interne, des relations avec d'autres variables et des conséquences du test complétera le processus de validation de l'OCÉC.

Abstract

Background: The implementation of competency-based medical education requires postgraduate medical training programs to adjust their assessment strategies. A criterion-referenced competency assessment tool (C-CAT) was developed based on content-validated milestones, but the response process had to be validated before implementation. Objectives: To evaluate the C-CAT response process and to identify difficulties encountered by users that could bias the assessment. Methods: Qualitative study involving 10 volunteer clinical teachers. Data was collected during individual interviews using the think-aloud protocol. Three researchers independently carried out a content analysis of the verbatim responses, hence data were triangulated. The coding structure consists of four themes: comprehension, information recall, judgment and response selection. Results: Comprehension and information retrieval generally did not cause any problem. Difficulties at the judgment (heterogeneous indicators and normative evaluation) and response selection (inadequate response scale) stages were identified. Discussion and conclusion: This study validated the C-CAT response process, which proved adequate for comprehension and information retrieval, but required improvements for judgment and response selection. Based on these results, the C-CAT was revised before implementation. The ongoing evaluation of the internal structure, relations with other variables and consequences of testing will complete the validation process.