Facteurs liés à la concordance des corrections d'une épreuve de lecture critique d’article

Factors Linked to the Reliability of the Marking Process Intended for the Scientific Paper Critical Analysis Assessment

¹ Département d'Epidémiologie et de Santé Publique - Faculté de Médecine - 76000 Rouen - France
² Service de Néphrologie; Département d'Epidémiologie et de Santé Publique - Faculté de Médecine - 76000 Rouen - France
³ Laboratoire de Biochimie; Département d'Epidémiologie et de Santé Publique - Faculté de Médecine - 76000 Rouen - France
⁴ Département de Microbiologie; Département d'Epidémiologie et de Santé Publique - Faculté de Médecine - 76000 Rouen - France
⁵ Département d'Anatomie et de Cytologie Pathologiques; Département d'Epidémiologie et de Santé Publique - Faculté de Médecine - 76000 Rouen - France

Correspondance : Pierre Czernichow - Département d'Epidémiologie et de Santé Publique - CHU de Rouen - F76031 Rouen Cedex France - Tel : 02 32 88 80 50 - Mailto:Pierre.Czernichow@chu-rouen.fr

Résumé

Contexte : Une épreuve de lecture critique d'article (LCA) sera introduite en 2008 dans l'examen classant national (ECN). Les rares travaux consacrés à cette épreuve suggèrent une concordance médiocre des corrections. But : Identifier certains facteurs liés à la concordance des corrections d’une épreuve de LCA. Sujets et méthodes : 59 étudiants volontaires de DCEM 2 et DCEM 3 ont été soumis à une épreuve de LCA dans les conditions prévues pour l'ECN. Trois correcteurs ayant préparé l’épreuve (choix d’article, questions et réponses attendues selon 16 questions, grilles de correction (s), pondérations), ont corrigé chaque copie de façon indépendante, sans grille puis avec une grille. L'accord entre les 3 couples de correcteurs, avec ou sans grille, pour les 16 questions, soit 96 couples, a été mesuré par les coefficients de corrélation intraclasse (CCI). La valeur médiane du CCI pour chaque facteur (questions, grille ou non, questions ou résumé, couples de correcteurs) a été comparée aux autres CCI par le test de Mann-Whitney ; les facteurs indépendants de variations du CCI ont été déterminés par une analyse de régression multiple. Résultats : 6 questions sur 16, l’usage de la grille, et l’un des couples de correcteurs étaient liés de façon indépendante aux CCI. Conclusion : La concordance des corrections d'une épreuve de LCA semble dépendre fortement de la qualité de l’épreuve et des correcteurs ; le recours à une grille de correction pourrait représenter un facteur d’amélioration d’impact modeste de cette concordance.

Abstract

Context: Early from 2008, a test of scientific paper critical analysis (SPCA) ability will be implemented in the French National Medical Sorting Exam (NSE). Few papers have been already published on this topic, suggesting a poor reliability of the test marking process. Aim: To identify factors associated with the reliability of SPCA test marking. Subjects and methods: On a voluntary basis, 59 medical students from the 4th or the 5th year at the Rouen University Medical School, completed a SPCA examination under the same conditions as for the NSE. Three teachers who prepared the assessment (choice of the article, questions and expected answer according to 16 items, correction grid and weighting) blindly marked twice questions and the abstract, without and then with a correction grid. The agreement among the three pairs of correctors, with and without a correction grid, for the 16 items (or 96 pairs) was assessed according to the intra class-correlation coefficients (ICC). Median CCI for pairs defined by each factor (items, using a grid or not, questions or abstract, pairs of teachers) was compared with the remaining pairs using a Mann-Whitney test. Independent factors were identified using multiple regression analysis. Results: Six items out of 16 using a correction grid and one pair of teachers out of 3 were independently associated with ICC. Conclusion: The reliability of this SPCA test marking method highly depends on the quality of the test and the correctors. Using a correction grid could only marginally improve the reliability.