La rédaction de questions à choix multiple et de questions à réponse ouverte et courte pour les examens écrits dans les programmes de formation en santé : une étude docimologique des consignes de rédaction

Creating multiple-choice questions and short open-answer questions in professional health-education programs: a docimological study of guideline drafting

¹ Faculté de médecine et des sciences de la santé, Université de Sherbrooke, Sherbrooke, QC, Canada
² Faculté des sciences de l’agriculture et de l’alimentation, Université Laval, Québec, QC, Canada

^* Correspondance et offprints : Christina ST-ONGE, Service de médecine interne / Département de médecine. Faculté de médecine et des sciences de la santé. Université de Sherbrooke 3001, 12e Avenue Nord Sherbrooke (Québec) J1H 5N4 Mailto : christina.st-onge@usherbrooke.ca.

Reçu : 18 Août 2016
Accepté : 17 Février 2018
commentaires éditoriaux formulés aux auteurs le 8 mai 2017 et le 4 janvier 2018

Résumé

Contexte/objectif : L’évaluation des apprentissages a une importance indéniable en pédagogie des sciences de la santé. L’élaboration de questions écrites est toutefois un grand défi bien que l’on retrouve dans la littérature scientifique plus de 150 consignes destinées à en guider la rédaction. Malheureusement, il existe peu de données probantes quant à l’impact de l’utilisation des consignes sur la qualité des questions. L’objectif de cette étude est d’identifier les consignes de rédaction de questions écrites qui permettent de différencier les bonnes des moins bonnes questions, et donc qui devraient être respectées lors de la rédaction de celles-ci. Méthodes : Nous avons sélectionné 36 consignes de rédaction parmi plus de 150 répertoriées dans les écrits scientifiques. Nous les avons utilisés pour évaluer 407 questions : 150 questions à choix multiples (QCM) et 141 questions à réponse ouverte courte (QROC) provenant de banques de questions du programme de médecine de notre institution ainsi que 116 questions QCM provenant d’un précédent projet de recherche. Une analyse d’items, basée sur les principes de la théorie classique des tests, a été réalisée afin d’identifier les consignes de rédaction les plus discriminantes. Résultats : Six consignes de rédaction pour les QROC (discrimination moyenne = 0,20) et huit consignes de rédaction pour les QCM (discrimination moyenne = 0,19 ; accord inter-juges moyen = 0,98) ont été identifiées comme discriminantes. Conclusions : Nos résultats suggèrent que certaines consignes de rédaction de questions d’examens peuvent discriminer entre les bonnes et moins bonnes questions, ce qui pourrait aider à l’élaboration d’examens de plus haute qualité.

Abstract

Background/Aim: The assessment of learning is undeniably important in health sciences education. The development of written questions is a real challenge for those drafting them. Scientific literature has more than 150 instructions that guide the drafting of written questions. Unfortunately, there is little evidence on the impact of such guidelines on the quality of questions. The aim of this study is to identify the guidelines that differentiate well- from poorly-drafted questions, and accordingly need to be looked at in the drafting process. Method: We selected 36 guidelines among the 150 listed in the literature. We used the guidelines to assess 407 written questions: 150 multiple-choice questions (MCQ) and 141 short-answer questions (SAQ) from the database in our undergraduate medical education program and 116 others questions (MCQ) from a previous research project. We carried out an items analysis based on the principles of the Classical Test Theory to identify the most discriminant guidelines. Results: Six guidelines for SAQ (mean discrimination = 0.20) and 8 guidelines for MCQ (mean discrimination = 0.19; mean inter-rater agreement = 0.98) were identified as discriminant. Conclusion: Our results suggest that some of the guidelines for written exams can discriminate between well- and poorly-drafted questions, which could help develop more high-quality evaluations.