Reproductibilité de la correction d'une épreuve de lecture critique d'article : évaluation par une étude pilote chez 59 étudiants en médecine

¹ Département d'Anatomie et de Cytologie Pathologiques - Faculté de Médecine - 76000 Rouen - France
² Département d'Epidémiologie et de santé publique - Faculté de Médecine - 76000 Rouen - France
³ Laboratoire de Biochimie - Faculté de Médecine - 76000 Rouen - France
⁴ Département de Microbiologie - Faculté de Médecine - 76000 Rouen - France
⁵ Service de Néphrologie - Faculté de Médecine - 76000 Rouen - France

Auteur de correspondance : Francis Roussel, Pavillon Jacques Delarue - CHU de Rouen - 76031 Rouen Cedex - France Tél.: 02 32 88 80 67. Francis.Roussel@chu-rouen.fr

Résumé

Contexte : L'introduction d'une épreuve de lecture critique d'articles dans l'examen classant national en 2008 implique de former les étudiants et de mettre au point une procédure reproductible de correction. Actuellement la formation est très variable entre les différentes facultés et la reproductibilité de ce type d'épreuve est inconnue. But : Evaluer la reproductibilité de la correction d'une épreuve de lecture critique d'articles dans des conditions proches de celles de l'examen national classant. Sujets et méthodes : 59 étudiants volontaires de 2^e et 3^e années du deuxième cycle des études médicales ont passé une épreuve surveillée de trois heures, sur un article original en français, comportant 10 questions validées et un résumé de 250 mots au plus. Trois enseignants ayant préparé le dossier de l'épreuve ont corrigé en aveugle les questions et le résumé selon 16 items, sans grille de correction. L'accord entre les trois paires de correcteurs a été apprécié par les coefficients de corrélation intra classe (CCI). Résultats : En moyenne, l'accord entre les correcteurs était modéré ou médiocre : CCI = 0,68 (intervalle de confiance à 95 % : 0,52 - 0,80), CCI = 0,71 (0,55 - 0,81) et CCI = 0,48 ( 0,26 - 0,65) selon la paire. Cette concordance était variable suivant les items (très mauvaise pour deux questions). Elle était meilleure pour les questions que pour le résumé pour 2 des 3 paires de correcteurs. Conclusion : Cette méthode de correction de l'épreuve de lecture critique d'articles est peu reproductible. L'impréparation actuelle des étudiants et des enseignants est probablement un facteur aggravant.

Abstract

At french medical universities, a new national sorting exam (NSE) has been implemented, which will include from 2008 onwards a test of scientific papers critical analysis (SPCA). This implies further educational courses for students and a reliable marking process. Currently, educational development is highly variable between universities, and the reliability of the marking process remains unknown. Aim: To evaluate the reliability of SPCA test marking, in conditions close to those of the NSE. Subjects and methods: 59 volunteer medical students from 4th or 5th year at the Rouen university medical school completed a supervised examination of three hours, on an original article in French, including 10 validated open questions and an abstract of less than 250 words. Three teachers, who prepared the assessment, blindly marked the questions and the abstract, according to 16 items, without a correction grid. The agreement among the three pairs of correctors was evaluated according to the intraclass correlation coefficients (ICC). Results: The overall mean ICCs (95% confidence interval) for the 3 pairs were moderate or poor: 0.68 (0.52 - 0.80), 0.71 (0.55 - 0.81) and 0.48 (0.26 - 0.65). The marking agreement was better for the questions than for the abstract for 2 out of the 3 pairs of teachers. It was variable with the items, with a very poor score for two of them. Conclusion: The reliability of this SPCA test marking method was considered poor. The present lack of students and faculty preparation is probably a worsening factor.