Jugement évaluatif : confrontation d’un modèle conceptuel à des données empiriques

Rater cognition: putting conceptual model to the test with empirical evidence

¹ Département de médecine, Faculté de médecine et des sciences de la santé, Université de Sherbrooke, Québec, Canada
² Département de psychologie, Université de Sherbrooke, Québec, Canada

^* Correspondance et offprints : Christina ST-ONGE, 3001, 12e avenue Nord. J1H5N4 Sherbrooke, Québec, Canada. Mailto : christina.st-onge@usherbrooke.ca.

Reçu : 6 Décembre 2017
Accepté : 19 Février 2019
commentaires éditoriaux formulés aux auteurs le 29 novembre 2018 et le 31 janvier 2019

Résumé

Contexte : Le recours au jugement des évaluateurs est de plus en plus présent en contexte d’utilisation d’une approche de formation par compétences ; toutefois sa subjectivité a souvent été critiquée. Plus récemment, les perspectives variées des évaluateurs ont commencé à être traitées comme source d’information importante et les recherches sur le jugement évaluatif (rater cognition) se sont multipliées. Lors d’une synthèse d’études empiriques sur le sujet, Gauthier et al. ont proposé un modèle conceptuel englobant une série de résultats concourants. Objectif : Dans le cadre de cette étude à devis mixte concomitant imbriqué (quan/QUAL), nous confrontons ce modèle théorique à des données empiriques issues d’entrevues semi-dirigées d’évaluateurs hors pair. Cette analyse vise à valider le modèle théorique et déterminer son utilité pour mieux comprendre le jugement évaluatif. Méthodes : Les verbatim d’entrevues audio-enregistrées de 11 participants observant et jugeant la vidéo d’une résidente lors d’une consultation avec un patient standardisé ont été codés en utilisant le modèle théorique comme arbre de codage. Les données quantitatives portant sur l’occurrence et la co-occurrence de chaque code, en général et par individu, ont été extraites et analysées. Résultats : Les données corroborent que l’ensemble des neuf mécanismes du modèle conceptuel sont bien représentés dans le discours des évaluateurs. Toutefois, les résultats suggèrent que le modèle avec ses neuf mécanismes indépendants ne rend pas justice à la complexité des interactions entre certains mécanismes et qu’un des mécanismes, le concept personnel de compétence, semble soutenir une grande partie des autres mécanismes.

Abstract

Context: The use of rater-based assessment is increasingly present in health professions education but the subjectivity of their judgment has often been criticized. More recently, the multiple perspectives they provide have started to be treated as an important source of information. In a synthesis of empirical studies on rater cognition, Gauthier et al. have proposed a conceptual model encompassing a series of concurrent results. Goal: As part of this concomitant imbricated mixed design (quan/QUAL) study, we test the Gauthier et al. theoretical model on empirical data from semi-structured interviews of outstanding evaluators. This analysis aims at validating the theoretical model, refining it and determining its utility to better understand evaluative judgment. Methods: We coded the verbatim interviews of 11 participants observing and judging a resident’s video during a consultation with a standardized patient using the theoretical model as a coding tree. Quantitative data on the occurrence and co-occurrence of each code, in general and per individual, were extracted and analyzed. Results: The data corroborate that all nine mechanisms of the conceptual model are well represented in the evaluator’s discourse. However, the results suggest that the model with its nine independent mechanisms does not do justice to the complexity of the interactions between certain mechanisms and that one of the mechanisms, the personal concept of competence, seems to underlie many of the other mechanisms.