Le test de concordance de script comme outil d’évaluation formative en réanimation médicale

The script concordance test as a formative assessment tool in critical care medicine

Service de Réanimation Médicale, Hôpital Central, 29 avenue du Maréchal de Lattre de Tassigny, 54000 Nancy, France

Auteur de correspondance : Sébastien Gibot, Service de Réanimation Médicale, Hôpital Central, 29 avenue du Maréchal de Lattre de Tassigny, 54000 Nancy, France - Téléphone : +33 (0)3 83 85 29 70. s.gibot@chu-nancy.fr

Résumé

Contexte : Le test de concordance de script (TCS) vise à comparer l’organisation des connaissances, celle-ci constituant un élément essentiel de la compétence clinique. Objectifs : Le but de cette étude exploratoire est d’évaluer si un TCS portant sur des champs particuliers de la réanimation détecte bien les différences d’expérience clinique, si le test est capable de déceler l’effet d’interventions éducatives, telles que le stage, et de comparer ses résultats avec ceux d’un examen standard en France : les épreuves classantes nationales (ECN). Méthodes : Un TCS, comportant 26 questions réparties en 7 items, a été administré à 9 réanimateurs médicaux seniors, à 18 étudiants (Deuxième cycle d’études médicales,DCEM,2-4), et à 13 internes de Diplôme d’études spécialisées (DES). Le test, d’une durée de 20 minutes, a été pratiqué en début puis en fin de stage. Parallèlement, les étudiants ont été soumis à un dossier de type ECN couvrant les champs du TCS et d’une durée de 60 minutes. Résultats : Les scores obtenus au TCS par les experts étaient plus élevés que ceux obtenus par les internes (80,9 ± 4,8 vs 64,7 ± 5,3) (p < 0,001), eux-mêmes supérieurs à ceux obtenus par les étudiants (56,4 ± 9,6) (p < 0,01). Une corrélation entre TCS et dossier ECN était notée (Rs = 0,55, 95 % IC 0,10- 0,81). Au terme de leur stage, tous les étudiants avaient progressé au TCS (+7,2 ± 1,5 points). Une amélioration des performances des internes au TCS était également obtenue en fin de semestre (6 ± 1 points), bien que les valeurs restaient inférieures à celles du groupe d’expert (p < 0,01). Conclusion : La réalisation d’un TCS spécifique de la réanimation médicale pourrait être envisagée chez les étudiants de deuxième cycle et chez les internes DES. Administré en début de stage, il permettrait de distinguer les étudiants les moins à l’aise en terme de raisonnement clinique ; appliqué en fin de stage, le TCS pourrait constituer un moyen d’évaluer la progression.

Abstract

Background: The script concordance test (SCT) aims at evaluate knowledge organization, which represents an essential component of the clinical competence. Aim: The objectives of this investigative study are to verify the effectiveness of a SCT, which bears on particular fields of intensive care medicine, to differentiate clinical experiences, to evaluate its ability to discern student’s improvement following an educational intervention, and to compare its results with the ones obtained from the French standard examination, namely the National Classifying Examination (NCE). Methods: A SCT, including 26 questions divided in 7 items, was provided to 9 senior intensive care experts, 18 second year medical students, and 13 residents. The 20 minutes long SCT was completed at the beginning and at the end of training. In addition, students completed a 60 minutes long NCE-like test, which comprised similar questioning themes than the ones included in the SCT. Results: SCT scores obtained by experts were higher than those obtained by residents, which were superior to those obtained by students (80,9 ± 4.8 vs 64,7 ± 5,3; p < 0,001 and 64,7 ± 5,3 vs 56,4 ± 9,6; p < 0,01, respectively). A correlation between the SCT and the NCE-like test was found (Rs=0,55; 95% CI 0,10-0,81). At the end of their training, all students have showed an improvement in their SCT scores (7,2 ± 1,5 points). SCT scores obtained by residents were also higher at the end of the semester (6±1 points), although values were still lower than those obtained by the panel of experts (p < 0,01). Conclusion: The elaboration of a SCT specific to intensive care medicine could be considered for 2nd year students and residents. The SCT provided at the beginning of training could allow distinguishing students with clinical reasoning difficulties; the SCT completed at the end of training could represent a way to assess students’ progression.