Réflexions sur la démarche de standardisation d’examens cliniques objectifs structurés (ECOS) dans le cadre de la réforme du deuxième cycle des études de médecine en France : expérience sur une cohorte d’étudiants en médecine

Reflections on the standardization of the objective structured clinical examination (OSCE) as part of the reform of the pregraduate medical studies in France: study of a cohort of medical students

¹ Faculté de médecine, maïeutique et métiers de la santé, Université de Lorraine, Nancy, France
² Centre universitaire d’enseignement par simulation (CUESiM), Hôpital virtuel de Lorraine, Université de Lorraine, Nancy, France
³ Institut national de la santé et de la recherche médicale (Inserm), Unité mixte de recherche (UMR) U1116 – Défaillance cardiovasculaire aiguë et chronique (DCAC), Université de Lorraine, Nancy, France

^* Correspondance et offprints : Eva Feigerlová Centre universitaire d’enseignement par simulation (CUESiM), Hôpital virtuel de Lorraine, Université de Lorraine, Nancy, France. Mailto : eva.feigerlova@univ-lorraine.fr ; eva.feigerlova@fulbrightmail.org.

Reçu : 12 Juin 2022
Accepté : 9 Octobre 2024

Résumé

Contexte et problématique : L’examen clinique objectif et structuré (ECOS) est un outil pédagogique utilisé à des fins de formation et d’évaluation des performances des étudiants dans un environnement simulé. Pour justifier son utilité et son efficacité, l’ECOS doit être régulièrement révisé. Les données psychométriques permettent de répondre aux questions d’évaluation de la qualité de l’ECOS. Dans l’éducation médicale une note de passage fixe de 50 % est traditionnellement utilisée. Cependant les stations au sein d’un circuit d’ECOS peuvent avoir des niveaux de difficulté variable. Le seuil de réussite est déterminé par le biais d’un ajustement statistique afin de refléter le niveau de difficulté de chacune des stations au sein du circuit. Objectif : Ce travail décrit une démarche de standardisation de l’épreuve sur un exemple concret selon les attendus d’apprentissage sur le modèle adopté en France. Cadre conceptuel et méthodologique : La première partie de l’article propose quelques concepts théoriques ainsi que les éléments de réflexion pouvant être utiles pour guider les enseignants dans ce nouvel environnement de formation et d’évaluation des étudiants de médecine. Retour d’expérience : Dans la deuxième partie, nous décrivons une démarche de standardisation avec une analyse détaillée des stations d’ECOS non préalablement pilotées au sein d’un circuit formatif sur une cohorte de 310 étudiants de cinquième année à la Faculté de médecine à Nancy. L’analyse psychométrique a été menée dans le but d’évaluer la qualité des stations en vue de leur intégration dans un circuit sommatif.

Abstract

Context and background: The Objective Structured Clinical Examination (OSCE) is an educational tool used for training purposes and to assess student performance in a simulated environment. To justify its usefulness and effectiveness, the OSCE must be regularly revised. Psychometric data are used to evaluate the quality of the OSCE. In medical education a fixed passing mark of 50% is traditionally used. However, stations within an OSCE circuit may have varying levels of difficulty. The passing mark is determined through statistical adjustment to reflect the difficulty of each station within the circuit. Objective: This work describes an approach of exam standardization on a concrete example, according to the learning outcomes, based on the model adopted in France. Conceptual and methodological framework: The first part of the paper outlines some of the theoretical concepts and offers perspectives that may be useful to medical educators for this environment of training and evaluation of medical students. Experience feedback: In the second part, we describe a method of standardization and provide a detailed analysis of OSCE stations not previously piloted within a formative circuit on a cohort of 310 fifth year students at the Faculty of Medicine in Nancy. Psychometric analysis was carried out to assess the quality of the stations with the aim of their integration into a summative circuit.