Recherche et perspectives

Analyse de la validité du contenu et de la qualité formelle des questions isolées des épreuves classantes nationales informatisées (ECNi) de l’année universitaire 2015–2016

An analysis of the content validity and formal quality of the isolated questions of the French National Ranking Examination (ECNi) for the academic year 2015–2016

¹ Unité d’immunologie clinique et de thérapeutique ostéoarticulaire, Département de rhumatologie, Hôpital Lapeyronie, CHU de Montpellier, Université de Montpellier, Montpellier, France
² Département de médecine générale, Faculté de médecine de Montpellier-Nîmes, Montpellier, France
³ Pôle de gérontologie, Centre de prévention et de traitement des maladies du vieillissement, CHU de Montpellier, Université de Montpellier, Montpellier, France
⁴ Unité de réanimation et de transplantation, Département d’anesthésie-réanimation B, Hôpital Saint-Eloi, CHU de Montpellier, Université de Montpellier, Montpellier, France
⁵ Service de néphrologie et transplantation, Hôpital Lapeyronie, CHU de Montpellier, Université de Montpellier, Montpellier, France
⁶ Département de pharmacologie médicale et toxicologie, CHU de Montpellier, Université de Montpellier, Montpellier, France

^* Correspondance et offprints : Yves-Marie PERS. Unité d’immunologie clinique et de thérapeutique ostéoarticulaire, Département de rhumatologie, Hôpital Lapeyronie, CHU Montpellier, 371, avenue du doyen Gaston Giraud, 34295 Montpellier, France. Mailto : ympers2000@yahoo.fr.

Reçu : 21 Mai 2017
Accepté : 9 Octobre 2019
commentaires éditoriaux formulés aux auteurs le 20 octobre 2018 et le 7 octobre 2019

Résumé

Contexte : Les premières épreuves classantes nationales informatisées (ECNi) clôturant le deuxième cycle des études médicales en France ont eu lieu en juin 2016 et ont comporté des dossiers cliniques progressifs (DCP), des questions isolées (QI), ainsi qu’une épreuve de lecture critique d’articles (LCA). Les QI représentaient une nouveauté de cet examen puisque les DCP et la LCA étaient utilisés depuis 2004. But : Analyse de la validité du contenu et de la qualité formelle des QI des premières épreuves ECNi. Méthodes : Un questionnaire contenant les critères docimologiques à recueillir a été défini et validé au préalable. Les 120 QI de l’ECNi 2016 ont été analysées par un binôme indépendant. Les discordances entre les évaluateurs ont été interprétées. Toutes les analyses ont été colligées sur tableur Excel puis les statistiques ont été réalisées sur Graphpad Prism version 6 et Stata v12. Résultats : Les rédacteurs des QI ont majoritairement respecté les consignes de forme. Les niveaux d’habiletés intellectuelles requis concernaient majoritairement les processus de mémorisation, de simple récupération de l’information et de compréhension (82 % des QI). Dans 7 à 23 % des QI, l’utilisation de distracteurs était jugée inappropriée. Une prédominance de QI portait sur les disciplines médicales (72,5 %). L’unité d’enseignement (« Circulation – Métabolismes ») était la plus représentée (26 %). Les discordances étaient faibles (6,2 % des évaluations). Conclusion : Il s’agit de la première analyse de la validité du contenu et de la qualité formelle des QI des ECNi. Leur format de rédaction a été largement respecté par les auteurs. Elles ont peu fait appel à des processus de raisonnement complexe. Il semblerait utile de favoriser les courtes vignettes cliniques pour améliorer cet aspect.

Abstract

Context: The first French electronic National Ranking Examination (ECNi), occurring at the end of the undergraduate medical studies took place for the first time in June 2016. Assessments included progressive clinical cases scenarios (DCPs), isolated questions (IQ) and critical appraisal of scientific articles (LCA). The IQs represented the novelty of this evaluation since the DCPs and LCA were already in use since 2004. Aim: To analyse the content validity and formal quality of the IQ content for the first ECNi tests. Methods: A survey stating quality criteria to be collected was defined and beforehand validated. The 120 IQ of the ECNi were analysed by an independent pair. Discrepancies between the two evaluators were interpreted. All the analyses were compiled on an Excel spreadsheet and then statistics were performed on Graphpad Prism version 6 and Stata v12. Results: The majority of IQ writers complied with the formal instructions. The required intellectual skills mainly consist of information retrieval and knowledge (82% of IQ). In 7 to 23% of IQ, the use of distractors was considered inappropriate. A predominance of IQ was found in non-surgical disciplines (72.5%). The Teaching Unit (“Circulation – Metabolism”) was the most represented (26%). Discrepancies were low between the two assessors (6.2% of the evaluation criteria). Conclusion: This is the first analysis of content validity and formal quality of ECNi IQ tests. The writing format was widely respected by the authors. IQ have made little use of complex reasoning processes. It would seem useful to promote short clinical vignettes to improve this feature.