Difficultés de correction d’une épreuve d’analyse critique d’article scientifique : une étude exploratoire

¹ Service de gynécologie - Centre Hospitalier Intercommunal - Créteil - France
² Service de pneumologie - Centre Hospitalier Intercommunal - Créteil - France
³ Vice doyen de la Faculté de médecine de Créteil - Service de pneumologie - Centre Hospitalier Intercommunal - Créteil - France

Auteur de correspondance : Christine Louis-Sylvestre, Maternité Centre Hospitalier Intercommunal – 40, Avenue de Verdun 94000 - Créteil - France - Tel : 01 45 17 55 51. christine.louissylvestre@chicreteil.fr

Résumé

Contexte : L’apprentissage de la lecture critique d’article est évalué dans notre faculté par une épreuve comportant la réalisation d’un résumé d’article. Les résultats obtenus par les étudiants lors des premières éditions de cette épreuve n’étaient apparemment pas corrélés à leur niveau et n’étaient pas reproductibles d’une épreuve à l’autre. Ceci nous a fait suspecter des difficultés de correction de l’épreuve. Méthode : 20 copies ont été tirées au sort et évaluées par 5 correcteurs à l’aide d’une même grille. Nous avons calculé, pour chaque copie, la moyenne des 5 scores obtenues et calculé un pourcentage de variation. Nous avons comparé les 5 correcteurs en calculant pour chacun d’eux la moyenne des 20 scores qu’ils avaient attribués. La concordance entre les différents examinateurs a été étudiée grâce au test de Kendall. Les analyses ont été réitérées avec une deuxième grille de correction plus détaillée. Les pourcentages de variation observés avec chacune des deux grilles ont été comparés par un test du X2. Résultats : Les scores varient de 45 % (extrêmes 17 à 88 %) selon le correcteur avec la première grille, et de 32 % (10 à 60 %) avec la deuxième grille. Les correcteurs sont cependant concordants dans le classement des copies (p < 0,001). Le pourcentage de variation inter-correcteur des scores est significativement réduit avec la deuxième grille (p < 0,01). Conclusion : La réalisation d’un résumé à partir d’un article est une épreuve difficile à corriger. L’utilisation d’une grille de correction, même si elle est détaillée, laisse persister des variations entre correcteurs.

Abstract

Critical appraisal skills are partly evaluated in our university by asking the students to elaborate a summary of a scientific paper. The results obtained by the students for the first evaluations showed a lack of correlation with the level of the student and were not reproducible. This led us to suspect difficulties in correcting this examination. Method: Twenty summaries were taken at random and evaluated by 5 correctors with the same correction frame. We calculated the mean mark obtained by each summary and the percentage of variation. We compared the 5 correctors by calculating the mean mark they attributed to the 20 summaries. Kendall’s test was used to study the concordance between all the correctors. The same analysis was reiterated with a second correction with a more detailed frame. Percentages of variation with each frame were compared with a chi square test. Results: The percentage of variation of the marks between correctors was 45% (range 17-88%) with the first frame, and 32% (10-60%) with the second. Correctors were however concordant for the rank of the copies (p < 0.001). Percentage of variation of the note according to the corrector was significantly reduced with the second frame (p < 0.01). Conclusion: Elaboration of a summary is a test that proves difficult to correct. With a frame, however detailed it is, variations between correctors do not disappear.