Comment assurer l’équité d’une évaluation classante par les examens cliniques objectifs et structurés (ECOS) ? Enquête d’opinion auprès des externes sur les conditions d’acceptabilité de la réforme du deuxième cycle des études médicales en France

How to ensure the fairness of a grading evaluation by objective and structured clinical examinations (OSCE)? Opinion survey among medical students on the conditions of acceptability of the reform of the second cycle of medical studies in France

¹ Département de médecine générale et de formation territoriale, Faculté de médecine, maïeutique et science de la santé, Université de Strasbourg, Strasbourg, France
² Unité de simulation européenne en santé (UNISIMES), Faculté de médecine, maïeutique et science de la santé, Université́ de Strasbourg, Strasbourg, France
³ Sorbonne Université, Faculté de médecine, GRC Biofast, Paris, France
⁴ Service d’accueil des Urgences, Hôpital Pitié-Salpêtrière, Assistance Publique – Hôpitaux de Paris, Paris, France
⁵ Centre de formation et de recherche en pédagogie des sciences de la santé (CFRPS), Faculté de médecine, maïeutique et science de la santé, Université de Strasbourg, Strasbourg, France

^* Correspondance et offprints : Carine ZUMSTEIN, Département de médecine générale et de formation territoriale, Faculté de médecine, maïeutique et sciences de la santé, 4 rue Kirschleger, 67000 Strasbourg, France. Mailto : c.zumstein@unistra.fr.

Reçu : 29 Novembre 2021

commentaires éditoriaux formulés aux auteurs le 14 et le 29 novembre 2022 ;
Accepté : 1 Décembre 2022

Résumé

Contexte : Les examens cliniques objectifs et structurés (ECOS) sont un outil d’évaluation de performances professionnelles en milieu simulé. Ils ont été intégrés à la réforme du deuxième cycle des études médicales en France afin d’évaluer les compétences des étudiants tout en leur garantissant l’équité et l’égalité des chances. Les ECOS favorisent l’objectivité de l’évaluation par leur forte standardisation mais de nombreuses variables sont à considérer. Afin de favoriser l’acceptabilité du dispositif, il est primordial de définir avec les étudiants les modalités de standardisation nécessaires et réalisables. Objectif : Explorer l’opinion des étudiants sur l’équité et la faisabilité des ECOS pour leur examen national. Méthodes : Nous avons utilisé une méthode qualitative basée sur des entretiens individuels semi-structurés avec des étudiants en deuxième cycle des études médicales. Les entretiens ont été codés en double aveugle et analysés de manière inductive. Résultats : Selon les étudiants, l’équité des ECOS repose principalement sur la construction de la grille d’évaluation, le choix des sujets, l’objectivité des évaluateurs et des patients standardisés et la formation préalable à l’examen. Ils précisent l’importance de la non-connaissance et l’absence de hiérarchie avec les évaluateurs et patients standardisés, et demandent une adaptation de la formation théorique et pratique centrée sur le patient. Conclusion : Selon les étudiants, l’équité des ECOS conditionne leur acceptabilité et repose sur le niveau de standardisation de tous les éléments les constituant. Au-delà de cette évaluation, la formation reste indispensable et devrait aboutir à un nouvel alignement pédagogique favorisant l’apprentissage de compétences cliniques au service des patients.

Abstract

Background: Objective structured clinical examinations (OSCEs) are a tool for assessing professional performance in a simulated environment. They were integrated into the reform of the second cycle of medical studies in France in order to evaluate students’ skills while guaranteeing equity and equal opportunity. OSCEs promote the objectivity of the evaluation by their high degree of standardization, but many variables must be considered. In order to promote the acceptability of the system, it is essential to define with the students the necessary and feasible standardization methods. Objective: To explore students’ opinions on the fairness and feasibility of OSCEs for their national exam. Methods: We used a qualitative method based on individual semi-structured interviews with graduate medical students. The interviews were double-blind coded and analyzed inductively. Results: According to the students, the fairness of OSCEs is mainly based on the construction of the evaluation grid, the choice of subjects, the objectivity of the evaluators and the standardized patients, and the pre-examination training. They point out the importance of non-knowledge and lack of hierarchy with the assessors and standardized patients, and ask for an adaptation of the theoretical and practical training focused on the patient. Conclusion: According to the students, the fairness of OSCEs conditions their acceptability and depends on the level of standardization of all the elements that make them up. Beyond this evaluation, training remains essential and should lead to a new pedagogical alignment that promotes the learning of clinical skills in the service of patients.