Évaluation d'une grille de correction révisée de l'exercice de rédaction de résumé pour l'examen de lecture critique d'article scientifique dans le cadre des épreuves classantes nationales en France

Evaluation of a modified assessment grid of a written summary aptitude for the scientific article critical reading test in the context of the national ranking exam in France

¹ Service de Chirurgie Digestive, CHU Rangueil, Toulouse, France
² Service de Pharmacologie Médicale et Clinique, Faculté de Médecine, Toulouse, France

Auteur de correspondance : Fabrice Muscari, Service de chirurgie digestive, CHU Rangueil, 1 avenue J. Poulhès, TSA 50032, 31059 Toulouse Cedex 9, France. Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser.

Résumé

But : Tester une nouvelle grille de correction des résumés afin d'obtenir une réduction de la variation inter-correcteurs des scores. Matériel et Méthodes : La grille de correction permettait d'élaborer un score sur la base d'une évaluation "globale" et d'une évaluation de "mots clés", ce qui en faisait l'originalité. Cinquante copies ont été recueillies pour ce travail. Chaque copie a fait l'objet d'une correction par cinq correcteurs différents. Les critères de jugement étaient : la dispersion des cinq scores obtenus par chaque copie en calculant la moyenne ; le pourcentage de variation des notes en fonction des correcteurs; la dispersion des notes de chacun des scores pour chaque correcteur par rapport à la moyenne calculée sur l'ensemble des copies. Résultats : Cette grille de correction modifiée avec l'adjonction de mots clés n'entraîne pas de diminution des variations des notes en fonction du correcteur. La notation de la partie mots clés entraine même une grande variation des notes d'un correcteur à l'autre : 50 % des copies avaient une variation de note inter-correcteur de plus de 40 %. De même, cette nouvelle grille de correction entraîne une grande dispersion des notes en fonction de l'expérience du correcteur. Conclusion : Cette nouvelle grille de correction du résumé diminue peu les variations de scores inter-correcteurs pour une même copie. Il faut donc tester d'autres grilles de correction du résumé de la lecture critique pour assurer une équité de correction pour les étudiants.

Abstract

Aim of study: To evaluate a new assessment grid of written summary in order to obtain a reduction of the variation of scores between different correctors. Material and Method: The assessment grid allowed to elaborate a score based on a “global” evaluation and a score obtained from “key words”, which made it original. Fifty copies were collected for this work. Five different correctors collected each copy. the criteria of judgement were the following: 1) dispersion of the five scores obtained for each copy by calculating the average; 2) percentage of variation of the scores according to correctors; and 3) dispertion of the value of each score for each corrector compared to the average calculated from all copies. Résultats : This modified assessment grid with the addition of key the words does not lead to a reduction of scores variation according to the corrector. The key word scoring leads even to a greater variation of scores between corrector: 50% of copies had a variation of scores inter-corrector of more than 40%. Also, this new assessment grid conducts to a great dispersion of scores according to the corrector experience. Conclusion: This new assessment grid of written scientific article critical reading summaries weakly diminishes the variation of scores between correctors for the same copy. It is thus necessary to test of other assessment grids to ensure equity of correction for students.