Impact du panel de référence sur les qualités psychométriques d’un test de concordance de script développé en formation initiale des sages-femmes

Impact of the reference panel on the psychometric quality of a script concordance test developed for midwifery training

¹ École de sages-femmes de Besançon, Centre hospitalier régional et universitaire de Besançon France
² École universitaire de maïeutique Marseille Méditerranée, Université d’ Aix Marseille, France
³ Centre d’investigation clinique Assistance Publique – Hôpitaux de Marseille, France
⁴ Centre de pédagogie appliquée aux sciences de la santé, Faculté de médecine, Université de Montréal, Québec, Canada

Correspondance et offprints : Madeleine Gantelet, École de sagesfemmes de Besançon CHRU de Besançon, 2 Place St Jacques, 25000 Besançon, France. Mailto : mgantelet@chu-besancon.fr

Reçu : 26 Juillet 2012
Accepté : 2 Juin 2013

Résumé

Contexte : Le test de concordance de script (TCS) a pour particularité de recourir à des professionnels expérimentés pour établir les scores du test. La composition de ce panel a été discutée dans des études. Une étude portant sur les étudiants sages-femmes a montré un coefficient α de Cronbach assez faible. But : Analyser l’impact de la composition spécialisée ou non d’un panel de professionnels sur les qualités psychométriques d’un TCS développé dans la filière maïeutique. Matériel et Méthodes : Une étude analytique prospective multicentrique a été menée auprès d’étudiants en dernière année dans six écoles de sages-femmes françaises. Deux panels de professionnels ont été constitués : Panel A de sages-femmes praticiennes polyvalentes, panel B de sages-femmes praticiennes spécialisées dans un des quatre secteurs d’activité de la profession. Les scores des étudiants sages-femmes ont été établis avec les panels A et B. Résultats : Les clés de correction et les scores ne varient pas avec le panel. Le coefficient de cohérence interne α de Cronbach n’est satisfaisant ni avec le panel A, ni avec le panel B. Conclusion : Les vignettes de ce test doivent être améliorées pour être utilisées par les écoles. Le nombre de vignettes doit être augmenté en créant une banque de vignettes pour chacun des domaines. L’hypothèse d’explication du faible coefficient α est la dispersion des vignettes entre les différents secteurs d’activité de la profession.

Abstract

Context: Script Concordance Tests (SCTs) are designed to measure the degree of concordance between examinees and a reference panel of experts on clinical decisions and actions under uncertainty. To create a scoring key, SCTs are submitted to a reference panel. The validity of such a panel is often challenged. Prior studies on SCTs in the training of midwives have shown a low reliability coefficient (Cronbach’s α). Objective: To analyze the impact of a reference panel of generalist versus specialist midwives working in one of the four midwifery fields on the psychometric quality of SCTs developed for midwives. Materials and Methods: We conducted a prospective multicenter study among students in the final year of studies in 6 French midwifery schools. To create a scoring key, two panels of professionals were set up: panel A consisting of generalist midwives and panel B consisting of midwives specializing in one of the four midwifery fields. Students’ scores were referenced with panels A and B. Results: The scoring key and the students’ scores do not vary from the panels. The internal consistency estimate of reliability using Cronbach’s α is unacceptable, whether with panel A or B. Some vignettes are unsatisfactory. Conclusion: The test should be improved before it is used. The wide range of vignettes covering various fields of practice (gynecology, obstetrics and pediatrics) can probably explain the low reliability coefficient. The test should be developed in all midwifery schools by creating a vignette bank for each midwifery field.