Recherche et perspectives

Évaluation édumétrique d’un dispositif d’entrevues structurées multiples pour la sélection de candidats dans un programme postgradué de dermatologie

Edumetric assessment of multiple structured interviews for admission in postgraduate dermatology programs

¹ Faculté de médecine et des sciences de la santé, Université de Sherbrooke, Sherbrooke, Canada
² Faculté de médecine et des sciences de la santé, Université de Sherbrooke, Sherbrooke, Canada
³ Centre hospitalier de l’Université de Sherbrooke, Sherbrooke, Canada
⁴ Centre hospitalier de l’Université de Sherbrooke et Faculté de médecine et des sciences de la santé, Université de Sherbrooke, Sherbrooke, Canada

Correspondance et offprints : Christina St-Onge, 3001, 12e Avenue Nord, Sherbrooke (Québec), Canada, J1H 5N4. Mailto : christina.st-onge@usherbrooke.ca.

Reçu : 31 Août 2010
Révisé : 13 Février 2011
Accepté : 2 Mai 2011

Résumé

Contexte : De plus en plus d’importance est accordée aux habiletés non cognitives dans le rôle du médecin. Cette réalité se reflète dans les programmes de formation ainsi que lors de la sélection des candidats dans les programmes de médecine. Les programmes de dermatologie de trois universités québécoises ont conjointement élaboré un instrument de sélection pour évaluer les habiletés non cognitives de leurs candidats. Afin de limiter les effets dus aux juges, un devis d’évaluation avec plusieurs juges par station a été réalisé. But : Le but de l’étude est d’évaluer l’impact de ce devis d’évaluation sur les qualités édumétriques de l’instrument. Sujets/matériel/méthodes : Dix-huit participants ont été rencontrés lors du processus de sélection des candidats de dermatologie. L’instrument utilisé, soit des mini-entrevues structurées, était organisé en trois stations comportant chacune quatre questions évaluées par quatre juges. Résultats : L’instrument offre un bon accord interjuge (M = 0,79, ET = 0,11) et une fidélité acceptable (alpha de Cronbach = 0,70). La performance des candidats est correlée plus fortement entre les questions d’une même station qu’entre les questions de stations différentes. Conclusion : Ces derniers résultats suggèrent la présence d’un effet de halo chez les juges lorsqu’ils évaluent un même candidat sur différentes questions. Ainsi, des observations indépendantes ou un entraînement des juges devraient être privilégiées pour pallier cette influence. Les efforts mis dans le cadre de l’élaboration de l’instrument ont permis néanmoins de contribuer à un processus de sélection fidèle.

Abstract

Context: The role of physicians has expanded over the last decade and there is increased recognition of the importance of non-cognitive abilities. Programs and admission processes are changing to reflect that new reality. Three French-speaking Quebec universities joined forces to develop a tool used in the selection process for their dermatology programs. A multiple-rater evaluation design was proposed to reduce rater effect. Purpose: The goal of this study was to investigate the impact of the evaluation design on the psychometric qualities of the tool. Subjects/Materials/Methods: Eighteen candidates were met during the selection process. The mini-structured interview tool was made up of three stations, each consisting of four questions. Results: The inter-rater reliability was good (mean ICC = 0.79, SD = 0.11), and the reliability was acceptable (Cronbach’s Alpha = 0.70). Candidates’ performance between questions of a given station correlated significantly more than their performance between questions of different stations. Conclusion: The results suggest that raters may have been subject to a halo effect when assessing students on multiple questions. Therefore, independent observations or rater training should be favoured. The tool development efforts are believed to have contributed to the reliability of the selection process.