EDP Sciences logo
Authentification abonné
Rechercher
Menu
Accueil Tous les numéros Volume 18 / Numéro 2 (Mai 2017) Pédagogie Médicale, 18 2 (2017) 83-100 Full HTML
Accès gratuit
Numéro
Pédagogie Médicale
Volume 18, Numéro 2, Mai 2017
Page(s) 83 - 100
Section Recherche et perspectives
DOI https://doi.org/10.1051/pmed/2018007
Publié en ligne 5 juillet 2018

© EDP Sciences / Société Internationale Francophone d’Education Médicale, 2018

Introduction

Un des défis des cursus axés sur le développement des compétences en éducation médicale postdoctorale est le développement et l’implantation d’un système d’évaluation formative qui soit cohérent avec l’approche par compétences. Selon cette approche, l’évaluation représente un processus continu, avec une emphase sur l’évaluation formative. Celle-ci contribue à guider les apprentissages, en plus de documenter les évaluations sommatives qui sont faites périodiquement et qui permettent d’apprécier la progression de l’apprenant [1,2]. Plutôt que d’interpréter la performance de l’apprenant de manière normative en le situant dans un groupe, l’évaluation est faite selon une approche critériée. Celle-ci consiste à évaluer son niveau de performance (ou d’autonomie) en fonction d’une échelle descriptive et ce, par des mesures multiples à partir de situations authentiques [3]. La rétroaction ainsi obtenue est souvent documentée dans un portfolio, outil dont l’utilité pour responsabiliser l’apprenant et encourager l’approche réflexive a été démontrée [4]. Le suivi de la progression de l’autonomisation dans la mise en œuvre des compétences s’effectue à l’aide d’échelles descriptives définissant différents niveaux de performance, qui sont également dénommés « indicateurs de développement », « jalons » ou « rubriques », qui précisent les attentes à diverses étapes importantes de la formation pour plusieurs domaines ou contextes de pratique [5].

Le Collège des médecins de famille du Canada (CMFC) a adopté en 2009 le corpus CanMEDS-Médecine familiale (CanMEDS-MF) comme cadre de référence pour son cursus par compétences [6], afin de définir les compétences attendues à la fin de la formation en médecine familiale [7]. On recommande notamment que les programmes de médecine familiale « [fournissent] des indicateurs de développement observables qui définissent les attentes à des étapes significatives de la formation », comme base du jugement des cliniciens enseignants sur la progression d’un résident [7]. Or, ces indicateurs n’ont pas été définis au niveau national pour les deux années de résidence du programme de médecine familiale.

Plusieurs programmes utilisent des échelles de développement qui reposent uniquement sur le niveau d’expertise de l’apprenant (novice, débutant avancé, compétent, efficace, expert, maître, etc.) [8–12], ou qui sont formulées en fonction du niveau de confiance (entrustment) à son égard (supervision étroite, supervision occasionnelle ou autonome) [9,10,13–16], sans nécessairement relier ces niveaux aux intervalles de temps durant lesquels les compétences devraient se développer. Néanmoins, des indicateurs de développement (intervalles de temps pour acquérir ces compétences) ont été proposés dans certains programmes (par exemple : en médecine interne ou en médecine d’urgence) [16–18], mais ces propositions étaient souvent peu ou pas adaptées aux programmes de médecine familiale canadiens en raison de la nature des compétences ou de la durée de ces programmes [13,15,19–25]. Les indicateurs de développement publiés par le programme de médecine familiale de l’Université Laval en 2014 illustraient les attentes des cliniciens enseignants face au développement des compétences des résidents au cours de leurs deux années de formation [24]. Toutefois, cette première édition ne comportait pas de critères descriptifs observables pour chacun des niveaux menant à l’autonomie de pratique et, bien qu’elle permettait d’identifier les résidents en difficulté, elle ne guidait pas les stratégies de prise en charge de ces apprenants.

Dans ce contexte, un outil critérié d’évaluation de la progression des compétences en médecine familiale (OCÉC-MF) à utiliser comme rapport de progression ou en fin de stage était souhaité par la direction du programme de médecine familiale pour soutenir l’enseignement et l’évaluation des compétences. Un outil reposant sur des indicateurs de développement représentatifs des attentes du programme quant au moment d’acquisition des différentes compétences CanMEDS-MF durant la résidence et précisant les périodes charnières pour les différents niveaux d’autonomie attendus a donc été développé et validé. L’objectif de cet article est, d’une part, d’exposer la méthodologie de développement/validation des indicateurs de développement sous-tendant l’outil et de présenter certains résultats de la démarche de validation, et d’autre part, d’en présenter le résultat : l’OCÉC-MF.

Méthodes

Les principes suivants ont servi de fondements au processus d’adaptation des stratégies d’évaluation des résidents en médecine familiale :

  • approche d’évaluation critériée plutôt que normative reposant sur des comportements observables [3], sans que l’évaluateur ait à juger si la démonstration d’un niveau d’autonomie donné survient au moment attendu pour chacun des indicateurs de développement ;

  • prise en compte du caractère progressif de l’autonomisation des compétences en fonction de la période de formation du résident [19] ;

  • ajustement des compétences à évaluer en fonction des objectifs de chaque stage en gardant le caractère holistique de la compétence sans atomiser les objets d’évaluation [26,27].

Élaboration des indicateurs de développement en médecine familiale de l’Université Laval

L’élaboration des indicateurs de développement en médecine familiale de l’Université Laval (IDD-MFUL) a été réalisée en trois phases (Figure 1).

Toutefois, comme la première phase a déjà fait l’objet d’une publication antérieure [24], elle ne sera que résumée ici. Pour cet article, l’accent sera mis sur les seconde et troisième phases.

thumbnail Figure 1

Élaboration des indicateurs de développement pour l’OCÉC-MF.

Développement du système informatisé

L’interface utilisateur de l’OCÉC-MF prend la forme d’une fiche d’évaluation de fin de stage (complétée par l’enseignant) ou d’un rapport trimestriel de progression (complété par le résident et l’enseignant en parallèle), et reflète l’ensemble des supervisions par observation directe et indirecte du résident, les activités d’enseignement présentées par le résident, ses travaux d’érudition, les ateliers de simulation, les entretiens réflexifs, bref un vaste éventail des activités d’apprentissage qui peuvent être versées au portfolio du résident. Il relie le niveau d’autonomie de chaque compétence à évaluer aux attentes identifiées dans les IDD-MFUL, afin d’établir le résultat (précoce, attendu, limite ou en retard).

Pour suggérer à l’évaluateur la décision à formuler à l’issue du stage (réussite, en difficulté, échec), le système informatisé effectue un calcul à partir de la proportion de compétences non maîtrisées (c’est-à-dire appréciées comme « limite » ou « en retard »). Ce calcul tient compte de six paramètres :

  • une cote « retard » pour une compétence clé ou plus est synonyme d’échec ;

  • trois cotes « retard » ou plus sur des compétences non-clés sont synonymes d’échec ;

  • des cotes « limite » à toutes les compétences sont traduites par le jugement « en difficulté » ;

  • une seule cote « retard » au maximum sur une compétence non-clé sans aucune autre cote « retard » ou « limite » est associée à une réussite ;

  • des cotes « limite » sur toutes les compétences, avec au maximum une compétence non-clé « en retard », sont traduites par le jugement « en difficulté » ;

  • des cotes « limite » sur toutes les compétences clés seulement ou toutes les compétences non-clés seulement sont compatibles avec une réussite.

Toutefois, la décision finale sur l’issue du stage demeure entre les mains de l’évaluateur, qui peut ou non accepter la proposition du système.

Une validation du processus de réponse a été effectuée pour identifier les difficultés rencontrées par les cliniciens enseignants, pouvant introduire des biais dans l’évaluation. Cette étude qualitative a été réalisée auprès de 10 cliniciens enseignants volontaires. La collecte de données s’est effectuée au cours d’entrevues individuelles utilisant la méthode de la pensée à voix haute selon une approche de type « think aloud » [30]. Une analyse de contenu des verbatim a été réalisée indépendamment par trois chercheurs (CS, LC, MLS), ce qui a permis la triangulation des données. La structure de codification se composait de quatre thèmes émanant de divers auteurs décrivant quatre étapes cognitives impliquées dans le processus de réponse à une question : compréhension, récupération de l’information, jugement et sélection/formulation de la réponse [31–37].

Concernant les compétences jugées « limites » ou « en retard », les cliniciens enseignants se sentent souvent démunis devant la complexité du diagnostic pédagogique à poser et du choix des stratégies de prise en charge pour remédier aux difficultés identifiées. L’OCÉC est programmé comme un « système conseiller » : il permet de suggérer des diagnostics pédagogiques possibles et des prescriptions pédagogiques (liste de stratégies ou moyens d’apprentissage suggérés) pertinents pour soutenir l’apprentissage, qui sont inspirés d’une revue de littérature extensive [38], complétée d’avis d’experts.

Dans la mesure où l’OCÉC-MF était conçu pour être un système générique répondant aux réalités de différents programmes de formation clinique, l’interface a été prévue pour être configurable selon les compétences et indicateurs de développement propres à chaque programme. Ceci ouvre la possibilité que le système soit implanté dans divers programmes de formation en sciences de la santé et qu’il contribue à l’amélioration des systèmes développés antérieurement.

Implantation pilote de l’outil critérié d’évaluation des compétences

Afin d’assurer une gestion adéquate du changement émanant de cette innovation pédagogique, une implantation pilote auprès de dix cliniciens enseignants pendant l’été 2015 a permis de récolter leurs questions et commentaires sur le processus d’évaluation des résidents. En évaluant un résident à l’aide du nouveau système d’évaluation, les participants furent invités à exprimer leurs questions ou commentaires sur L’OCÉC. Une démarche de triangulation des chercheurs a été appliquée pour la codification et l’analyse des données qualitatives. Ainsi, la codification en vue d’une analyse thématique de contenu a d’abord été réalisée de manière indépendante par deux personnes (CS et LC). Leur synthèse consensuelle a été soumise pour approbation à la personne ayant réalisé les entrevues (MLS).

Résultats

Indicateurs de développement en médecine familiale de l’Université Laval (phases 1-2-3)

Globalement, les phases 1 et 2 ont permis de clarifier les attentes quant à la période de formation où diverses compétences devraient être acquises, permettant une pratique autonome (les résultats détaillés de ces phases de validation de contenu et de convergence ont fait l’objet de diffusions antérieures [24,29]). Enfin, la phase 3 a permis de faire passer de 92 à 34 le nombre de compétences évaluées, et de décliner des rubriques de progression des attentes selon trois niveaux d’autonomie (Tableau I).

La Figure 2 illustre, sous la forme d’une échelle de progression, les attentes pour l’acquisition d’un comportement partiellement autonome, puis autonome au cours de la résidence en médecine familiale. Dans cette figure, les indicateurs de développement en médecine familiale de l’Université Laval sont illustrés pour chacun des sept rôles CanMEDS-MF. Le tableau I présente un descriptif des comportements correspondant aux trois niveaux d’autonomie pour chaque compétence. Cette illustration se veut analogue à l’échelle de développement pédiatrique de Denver [39] : il faut donc en débuter la lecture en bas à gauche, et suivre le développement des compétences vers le haut et vers la droite. L’échelle de couleurs illustre le moment attendu pour atteindre le niveau autonome pour chacune des compétences en fonction de la période de formation (l’axe des x). La compétence peut donc être considérée acquise de façon précoce, au moment attendu ou tardivement. Si la compétence n’a pas été acquise et que le niveau de formation correspond à la couleur rouge pour une compétence donnée, on constate alors un retard de développement de la compétence. Le curseur ▲ précise le moment à partir duquel le niveau peu autonome est considéré comme un retard de développement.

Les compétences identifiées par des clés rouges sont considérées à réussite obligatoire, ce qui signifie que leur non-acquisition à la période illustrée par la clé devrait être considérée sérieusement pour déterminer si le stage a été réussi ou non. Le système informatique propose d’ailleurs d’emblée un échec du stage lorsque qu’un « retard » est observé pour ces compétences.

Tableau I

Indicateurs de développement en médecine familiale de l’Université Laval − description des niveaux d’autonomie pour chaque compétence.

thumbnail Figure 2 Indicateurs de développement en médecine familiale de l’Université Laval − illustration des intervalles attendus pour l’acquisition des diverses compétences.

La figure 2 illustre, sous la forme d’une échelle comparable à l’échelle de développement pédiatrique de Denver [39], la progression des attentes pour l’acquisition d’un comportement partiellement autonome, puis autonome au cours de la résidence en médecine familiale.

Par exemple, la compétence « Générer des hypothèses diagnostiques » devrait être démontrée de façon autonome avant la fin de la 13e période de la 1re année de formation.
- Si un résident à sa 2e période de formation est déjà autonome (considère un large éventail d’hypothèses diagnostiques fondées sur la prévalence des problèmes et leur dangerosité, mais cible rapidement quelques diagnostics différentiels précis selon les éléments clés identifiés) pour cette compétence, elle est alors démontrée de façon précoce. À partir de la 4e période, il deviendra attendu.
- S’il en est aussi à sa 2e période de formation et plutôt partiellement autonome (identifie la plupart des éléments clés permettant de générer un diagnostic différentiel raisonnable pour les problèmes fréquents et demeure moins familier avec les présentations atypiques), pour cette compétence, on considérera qu’il est attendu. Si le résident est toujours partiellement autonome au-delà de la 13e période, on considérera une démonstration tardive jusqu’à la 7e période de la 2e année. Au-delà de cette période, on considérera un retard de développement.
- S’il en est aussi à sa 2e période de formation et présente des difficultés sérieuses à générer des hypothèses diagnostiques appropriées (peu autonome), on considérera une démonstration tardive. S’il persiste à être peu autonome au-delà du curseur ▲, on considérera un retard de développement à partir de la 7e période.

Système informatisé

L’OCÉC regroupe l’ensemble des compétences pertinentes en lien avec un stage (s’il est utilisé comme fiche d’évaluation) ou avec un semestre (s’il est utilisé comme rapport de progression), telles qu’elles sont déterminées par la coordonnatrice de l’évaluation du programme conjointement avec les responsables de chacun des stages. La description de chacun des niveaux d’autonomie (peu autonome, partiellement autonome ou autonome), définis par des comportements observables, apparaît sous la forme d’une info-bulle (Figure 3). Lorsque le niveau d’autonomie au regard de chacune des compétences a été établi par l’évaluateur, le système déduit et affiche le résultat de l’évaluation pour chacun des items (compétences), en indiquant par exemple si la maîtrise de chaque compétence est démontrée de façon précoce, attendue, limite ou tardive selon les IDD-MFUL (Figure 4). Les diagnostics et les prescriptions pédagogiques sont affichés par le système pour les compétences « limites » ou « en retard » (voir outil interactif : https://prezi.com/view/o3FViY3SPeVKxJOnNwuq/).

La validation du processus de réponse [30] a permis d’ajuster le libellé des niveaux d’autonomie avant l’implantation de l’OCÉC-MF, pour s’assurer de la compréhension de l’ensemble des items avant l’implantation, et d’une réponse conforme au processus souhaité. Les résultats détaillés de cette phase de validation font l’objet d’une autre publication [40].

thumbnail Figure 3 Visuel de l’outil critérié d’évaluation des compétences − Écran 1 : niveaux d’autonomie.

Une info-bulle décrivant chacun des niveaux d’autonomie (détaillés au Tableau I) apparaît lorsque l’évaluateur pointe une case à cocher.
thumbnail Figure 4 Visuel de l’outil critérié d’évaluation des compétences − Écran 2 : résultat selon les indicateurs de développement en médecine familiale de l’Université Laval.

Après avoir sélectionné les niveaux d’autonomie correspondant au comportement de l’apprenant (Figure 3), le système informatique établit la correspondance avec les attentes quant aux intervalles d’acquisition des compétences (Figure 2). Chaque compétence est donc identifiée comme précoce, attendue, limite ou en retard. Le système propose ensuite le résultat du stage en fonction du nombre de compétences clé/non-clé qui sont limites ou en retard.

Implantation pilote de l’outil critérié d’évaluation des compétences

Les cliniciens enseignants ayant utilisé l’OCÉC-MF lors du projet pilote ont identifié les rubriques détaillant chaque niveau d’autonomie comme une force de l’outil ; elles contribuaient, selon eux, à leur réflexion et à une meilleure objectivité de la démarche d’évaluation. La convivialité de l’outil a aussi été soulignée. Certains cliniciens enseignants craignaient aussi que le résultat proposé par le système informatisé ne corresponde pas à leur jugement d’évaluateur. Enfin, l’appropriation de la fiche était perçue comme un défi, pour deux raisons principales :

  • le fait que l’évaluation d’un résident se réalise en équipe de cliniciens enseignants (complexité logistique) ;

  • la propension de certains évaluateurs à attribuer le même niveau d’autonomie à toutes les compétences pour un résident donné, en fonction de leur appréciation générale de ce dernier plutôt que sur chacun des critères objectifs.

Cette démarche a permis d’adapter le contenu de la formation professorale et le soutien offert par dans le cadre du programme lors de l’implantation du nouveau processus d’évaluation.

Discussion

Ce projet a permis de développer de manière rigoureuse un outil novateur critérié d’évaluation de la progression des compétences des résidents en médecine familiale, à partir d’indicateurs de développement des compétences en médecine familiale, en les reliant aux intervalles de temps durant lesquels les compétences devraient se développer. Conformément aux dimensions présentées par Scallon [2], l’OCÉC-MF permet d’évaluer la progression du niveau d’acquisition des compétences des résidents à partir de situations authentiques, selon des standards de performance non normatifs, tout ceci en vue de la certification et donc du devoir sociétal des facultés de médecine. Il se prête également bien aux exercices d’autoévaluation par les résidents, favorisant ainsi leur réflexivité. Cet outil est novateur dans la mesure où il identifie les indicateurs de développement des compétences, le niveau d’autonomie du résident, et peut suggérer des prescriptions pédagogiques devant des difficultés de progression du résident. Aucun système d’évaluation comparable n’a pu être identifié dans la littérature.

L’OCÉC-MF comporte plusieurs avantages. Il aide les évaluateurs à juger si le résident se conforme aux attentes du programme tout en les dispensant de consulter à chaque instant les intervalles attendus (IDD-MFUL) pour atteindre chacun des niveaux d’autonomie (critères d’évaluation). Pour éviter que le système informatisé se substitue au jugement humain, certains résultats qui sont proposés peuvent être modifiés (à condition d’être justifiés par écrit) si les résultats ne correspondent pas au jugement de l’évaluateur. Par contre, l’évaluateur ne peut pas modifier a posteriori son évaluation du degré d’autonomie du résident pour le faire correspondre au résultat attendu, cette première étape devant être effectuée en fonction de la description du comportement observable et des indicateurs de développement.

Pour le résident, l’OCÉC-MF permet d’expliciter et de clarifier les attentes aux différentes phases (ou périodes) de la formation et favorise une meilleure équité dans les évaluations parce que le processus est plus juste et plus objectif. De même, puisque le système automatisé suggère des diagnostics et prescriptions pédagogiques, il aide le résident à mieux identifier ses besoins d’apprentissage, en facilitant son accès à des stratégies concrètes pour développer les compétences dont l’acquisition s’avère plus difficile.

Enfin, pour les programmes, l’OCÉC-MF permet une souplesse d’utilisation et protège mieux contre toute contestation juridique potentielle puisque l’évaluation repose sur une approche critériée qui est basée sur des comportements observables bien décrits et documentés.

Le choix d’une démarche aussi structurée pour la validation de la fiche, adossée sur une approche ayant des aspects fortement quantitatifs, pourrait sembler étonnant, voire questionnable. Cependant, l’approche par compétences implique que l’on soit en mesure de démontrer un savoir agir particulier, dans une perspective développementale contextualisée. Par conséquent, une évaluation adéquate de la progression des compétences implique un choix de cibles d’observation délibéré et consensuel, comme c’est le cas dans le système proposé. En d’autres termes, le choix doit découler de ce que les cliniciens enseignants utilisent intuitivement pour évaluer le degré d’autonomie d’un résident. Cette démarche vise à assurer une certaine cohérence dans l’approche d’évaluation de la progression des compétences entre les différents stages du programme. En se référant aux attentes consensuelles validées par des cliniciens enseignants, cet outil répond au besoin de réduire l’hétérogénéité des évaluations inter juges. Il serait en effet très difficile d’interpréter le jugement des évaluateurs si leur compréhension des mêmes balises était très hétérogène. Ces critères, élaborés initialement par une démarche de consensus auprès d’experts, doivent par la suite être validés et diverses méthodes qualitatives (par exemple, la validation du processus de réponse) et quantitatives (psychométrie) sont compatibles, car complémentaires.

Il pourrait être tentant de chercher à objectiver une multitude de micro-compétences mais cela devient souvent trop lourd ; c’est pourquoi l’OCÉC a choisi de s’éloigner de cette approche. Toutefois, il demeure essentiel que des critères soient définis pour bien illustrer les attentes des cliniciens enseignants aux différentes étapes de la formation, si on veut respecter ces principes de l’évaluation des compétences [3,41]. C’est pourquoi le concept d’échelle de confiance utilisé pour les activités professionnelles confiables (entrustable professional activities) [20,21] paraît intéressant, car il permet d’utiliser le sentiment de confiance d’un enseignant envers son apprenant pour témoigner de sa compétence, en fonction de différents niveaux d’autonomie. Les échelles de confiance descriptives utilisées à cet effet dans l’OCÉC-MF sont pertinentes : arrimées de façon très étroite à la logique du développement de la compétence, elles permettent de s’entendre sur les balises (évaluation critériée) pour en favoriser une compréhension juste et homogène entre les évaluateurs, tant pour les évaluations formatives que sanctionnelles. L’objectif est que leur jugement d’expert, manifestement empreint de subjectivité, repose néanmoins sur une interprétation adéquate de ces balises grâce à l’uniformisation des critères et du langage utilisé pour évaluer.

L’OCÉC-MF comporte certaines limites. En effet, la méthode Delphi ayant permis d’établir les attentes des cliniciens enseignants a été effectuée dans le réseau des unités de médecine familiale d’un seul établissement universitaire, en l’occurrence l’Université Laval. La reproduction de la démarche auprès de cliniciens enseignants provenant de l’ensemble des programmes de médecine familiale (générale) d’autres milieux canadiens ou européens pourrait modifier les critères de la fiche et, par conséquent affecter la validité de l’outil, qui ne serait ainsi plus nécessairement adapté au caractère contextuel du savoir-agir [5]. Ce faisant, l’acceptabilité au niveau local s’en trouverait probablement diminuée, raison pour laquelle cette stratégie n’a pas été favorisée dans un premier temps. Par ailleurs, comme une approche d’évaluation critériée implique une appropriation initiale des critères par les évaluateurs, une stratégie de formation professorale et de gestion du changement doit être impérativement planifiée parallèlement à l’implantation de l’OCÉC-MF, ce qui nécessite des ressources humaines, financières et matérielles significatives. Enfin, le fait que la décision finale sur l’issue du stage demeure ultimement dépendante des évaluateurs (qui peuvent ou non accepter la proposition du système) pourrait être considéré comme une limite. Toutefois, cela reflète bien l’importance du jugement global cohérent reflétant la complexité de l’évaluation des compétences [2].

Conclusion

L’OCÉC-MF peut être utilisé par les résidents et les cliniciens enseignants comme outil d’enseignement afin de bien guider le développement des compétences des résidents et comme outil d’évaluation (incluant l’autoévaluation) en aidant à de préciser les attentes face aux différentes compétences et en proposant des stratégies de remédiation pour les résidents en difficulté. Ces attentes et stratégies constituent d’ailleurs un précieux soutien de formation pédagogique professorale par leur aspect descriptif des compétences et par l’utilisation d’un vocabulaire d’éducation médicale partagé.

Une étude de cohorte débutée avant l’implantation du nouveau système d’évaluation permettra de valider les propriétés psychométriques sur un plus large échantillon. Plus particulièrement, elle aidera à évaluer non seulement l’appréciation mais surtout l’impact d’un tel outil critérié sur la qualité des évaluations ainsi que sur la pratique des cliniciens enseignants (confort décisionnel face au résultat de l’évaluation) et sur le parcours des résidents (processus d’identification et prise en charge des résidents en difficulté).

Contributions

Miriam Lacasse a eu l’idée originale du travail, a conçu le protocole de recherche, a effectué le recueil des données et l’analyse en vue du développement et de la validation de l’outil, a conçu et développé le système informatisé et a rédigé le manuscrit. Christian Rheault, Isabelle Tremblay Frédéric Coché, Johanne Théorêt, Sylvie Tessier, Josette Castel et Louise Arsenault ont participé au recueil des données et à l’analyse en vue du développement et de la validation de l’outil, à la conception et au développement du système informatisé et à la révision du manuscrit. Jean-Sébastien Renaud, Annie St-Pierre, Marie-Lee Simard, Caroline Simard et Luc Côté ont participé au recueil des données et à leur analyse en vue de la validation de l’outil, ainsi qu’à la révision du manuscrit. Isabelle Savard a participé à la conception et au développement du système informatisé, ainsi qu’à la révision du manuscrit.

Subventions

Le travail rapporté dans cet article a bénéficié du programme d’appui au développement pédagogique de l’Université Laval (développement informatique) et du fonds Gilles-Cormier de la Faculté de médecine de l’Université Laval (validation de l’outil critérié d’évaluation des compétences).

Conflits d’intérêts

Les auteurs déclarent n’avoir aucun lien d’intérêt avec le contenu de cet article.

Approbation éthique

Non sollicitée.

Remerciements

Les auteurs remercient les membres du comité de programme et du comité pédagogique du programme de médecine familiale de l’Université Laval pour la validation de contenu, Gaétan Daigle et Stéphane Turcotte pour les analyses statistiques, Abdelhamid Kadhi, et Wassim Gasmi pour le développement du système informatisé, Étienne Aubin pour l’élaboration de la méthode de calcul du score global de la fiche d’évaluation et Adrien Cantat pour son aide dans la structuration de la rédaction des descriptifs d’évaluation critériée.

Références

  1. Parent F, Jouquan J. Comment élaborer et analyser un référentiel de compétences en santé ? Une clarification conceptuelle et méthodologique de l’approche par compétences. Louvain-la-Neuve : De Boeck Supérieur, 2015. [Google Scholar]
  2. Scallon G. L’évaluation des apprentissages dans une approche par compétence. Montréal : Renouveau pédagogique, 2004. [Google Scholar]
  3. Carraccio C, Wolfsthal SD, Englander R, Ferentz K, Martin C. Shifting paradigms: from Flexner to competencies. Acad Med 2002;77:361‐7. [CrossRef] [PubMed] [Google Scholar]
  4. Tochel C, Haig A, Hesketh A, Cadzow A, Beggs K, Colthart I, et al. The effectiveness of portfolios for post-graduate assessment and education: BEME Guide No 12. Med Teach 2009;31:299‐318. [CrossRef] [PubMed] [Google Scholar]
  5. Tardif J. L’évaluation des compétences. Documenter le parcours de développement. Montréal : Chenelière Éducation, 2006. [Google Scholar]
  6. Tannenbaum D, Kerr J, Konkin J, Organek A, Parsons E, Saucier D, et al. Cursus Triple C axé sur le développement des compétences. Rapport du Groupe de travail sur la révision du cursus postdoctoral – Partie 1. Mississauga (ON) : Collège des médecins de famille du Canada, 2011 [On-line]. Disponible sur : http://www.cfpc.ca/uploadedFiles/Resources/Resource_Items/Triple_C/2%20Les%20concepts%20et%20définitions%20clés%20%20de%20l1éducation%20axée%20sur%20le%20développement%20des%20compétencesPDF%20ppt.pdf. [Google Scholar]
  7. Oandasan I, Saucier D (Eds.). Rapport sur le Cursus Triple C axé sur le développement des compétences – Partie 2 : Faire progresser la mise en œuvre. Mississauga (ON) : Collège des médecins de famille du Canada, 2013 [On-line]. Disponible sur : http://www.cfpc.ca/uploadedFiles/Education/_PDFs/TripleC_Rapport_2.pdf. [Google Scholar]
  8. Carraccio CL, Benson BJ, Nixon LJ, Derstine PL. From the educational bench to the clinical bedside: Translating the Dreyfus Developmental Model to the learning of clinical skills. Acad Med 2008;83:761‐7. [CrossRef] [Google Scholar]
  9. Meade LB, Borden SH, McArdle P, Rosenblum MJ, Picchioni MS, Hinchey KT. From theory to actual practice: creation and application of milestones in an internal medicine residency program, 2004-2010. Med Teach 2012;34:717‐23. [CrossRef] [PubMed] [Google Scholar]
  10. Papp KK, Huang GC, Lauzon Clabo LM, Delva D, Fischer M, Konopasek L, et al. Milestones of critical thinking: a developmental model for medicine and nursing. Acad Med 2014;89:715-20. [Google Scholar]
  11. The family medicine milestone project. J Grad Med Educ 2014;6(1 Suppl 1):74-86. [Google Scholar]
  12. Baglia J, Foster E, Dostal J, Keister D, Biery N, Larson D. Generating developmentally appropriate competency assessment at a family medicine residency. Fam Med 2011;43:90‐8. [PubMed] [Google Scholar]
  13. American Association of Medical Colleges. Core Entrustable Professional Activities for Entering Residency – Curriculum developers’ guide. 2014 [On-line]. Disponible sur : https://members.aamc.org/eweb/upload/Core%20EPA%20Curriculum%20Dev%20Guide.pdf. [Google Scholar]
  14. Chang A, Bowen JL, Buranosky RA, Frankel RM, Ghosh N, Rosenblum MJ, et al. Transforming primary care training-patient-centered medical home entrustable professional activities for internal medicine residents. J Gen Intern Med 2013;28:801‐9. [CrossRef] [Google Scholar]
  15. Fessler HE, Addrizzo-Harris D, Beck JM, Buckley JD, Pastores SM, Piquette CA, et al. Entrustable professional activities and curricular milestones for fellowship training in pulmonary and critical care medicine: report of a multisociety working group. Chest 2014;146:813‐34. [CrossRef] [PubMed] [Google Scholar]
  16. Schultz K, Griffiths J, Lacasse M. The application of entrustable professional activities to inform competency decisions in a family medicine residency program. Acad Med 2015;90:888‐97. [CrossRef] [Google Scholar]
  17. Clavet D, Pélissier-Simard L, Bigonnesse J-M, Girard G (Eds.) Systematising field supervisors’ experience to guide residents’ progression in a family medicine competency-based curriculum. Canadian Conf Med Educ 2010, St. John’s (NL). [Google Scholar]
  18. Torbeck L, Wrightson AS. A method for defining competency-based promotion criteria for family medicine residents. Acad Med 2005;80:832‐9. [CrossRef] [Google Scholar]
  19. ten Cate O, Scheele F. Competency-based postgraduate training: can we bridge the gap between theory and clinical practice? Acad Med 2007;82:542-7. [Google Scholar]
  20. ten Cate O. Entrustability of professional activities and competency-based training. Med Educ 2005;3:1176-7. [Google Scholar]
  21. ten Cate O. AM Last Page: What Entrustable Professional Activities Add to a Competency-Based Curriculum. Acad Med 2014;89:691. [Google Scholar]
  22. ten Cate O. Trust, competence, and the supervisor’s role in postgraduate training. BMJ 2006;333:748-51. [Google Scholar]
  23. Hauer KE, Kohlwes J, Cornett P, Hollander H, Ten Cate O, Ranji SR, et al. Identifying entrustable professional activities in internal medicine training. J Grad Med Educ 2013;5:54-9. [Google Scholar]
  24. Lacasse M, Theoret J, Tessier S, Arsenault L. Expectations of clinical teachers and faculty regarding development of the CanMEDS-Family Medicine competencies: Laval developmental benchmarks scale for family medicine residency training. Teach Learn Med 2014;26:244‐51. [CrossRef] [PubMed] [Google Scholar]
  25. Shumway NM, Dacus JJ, Lathrop KI, Hernandez EP, Miller M, Karnad AB. Use of milestones and development of entrustable professional activities in 2 hematology/oncology training programs. J Grad Med Educ 2015:101‐4. [CrossRef] [PubMed] [Google Scholar]
  26. Huddle TS, Heudebert GR. Taking apart the art: the risk of anatomizing clinical competence. Acad Med 2007;82(8):676-82. [Google Scholar]
  27. van Loon KA, Driessen EW, Teunissen PW, Scheele F. Experiences with EPAs, potential benefits and pitfalls. Med Teach 2014;36(8):698‐702. [CrossRef] [PubMed] [Google Scholar]
  28. Scott A, Knott M. A cluster analysis method for grouping means in the analysis of variance. Biometrics 1974;30:507‐12. [CrossRef] [Google Scholar]
  29. St-Pierre A, Thériault A, Labrecque M, Turcotte S, Renaud J-S, Lacasse M. Validation of the Laval Developmental Benchmark scale for competency evaluation in family medicine residency. Ottawa Conf, 2014 [On-line]. Disponible sur : http://media.wix.com/ugd/bd1cfc_8ef41237a92847fc87354972c9bd22d8.pdf. [Google Scholar]
  30. Van Someren MW, Barnard YF, Sandberg JA. The think aloud method: a practical guide to modeling cognitive processes. London: Academic Press, 1994. [Google Scholar]
  31. Collins D. Pretesting survey instruments: an overview of cognitive methods. Qual Life Res 2003;12:229‐38. [CrossRef] [PubMed] [Google Scholar]
  32. Drennan J. Cognitive interviewing: verbal data in the design and pretesting of questionnaires. J Adv Nurs 2003;42:57‐63. [CrossRef] [PubMed] [Google Scholar]
  33. Willis GB, Royston P, Bercini D. The use of verbal report methods in the development and testing of survey questionnaires. Appl Cognit Psychol 1991;5:251‐67. [Google Scholar]
  34. Forsyth B, Levin K, Fisher S. Test of an appraisal method for establishment survey questionnaires. Proceeding of the ASA Section on Survey Research Methods American Statistical Association, Alexandria 1999. [Google Scholar]
  35. Bolton RN. Pretesting questionnaires: content analyses of respondents’ concurrent verbal protocols. Mark sci 1993;12:280‐303. [Google Scholar]
  36. Graesser AC, Bommareddy S, Swamer S, Golding JM. Integrating questionnaire design with a cognitive computational model of human question answering. Schwarz N, Sudman S, Editors. San Francisco (CA): Jossey-Bass, 1996. [Google Scholar]
  37. Tourangeau R, Rasinski KA. Cognitive processes underlying context effects in attitude measurement. Psychol Bull 1988;103:299. [CrossRef] [Google Scholar]
  38. Lacasse M. Diagnostic et prise en charge des situations d’apprentissage problématiques en éducation médicale. Québec : Université Laval, Faculté de médecine, 2009. [Google Scholar]
  39. Frankenburg WK, Dodds J, Archer P, Shapiro H, Bresnick B. The Denver II: a major revision and restandardization of the Denver Developmental Screening Test. Pediatrics 1992;89:91‐7. [PubMed] [Google Scholar]
  40. Simard M-L., Lacasse M, Simard C, Renaud J-S., Tremblay I, Rheault C, et al. Validation d’un outil critérié d’évaluation des compétences des résidents en médecine familiale : étude qualitative du processus de réponse. Pédagogie Médicale 2017;18:17‐24. [Google Scholar]
  41. Holmboe ES, Sherbino J, Long DM, Swing SR, Frank JR. The role of assessment in competency-based medical education. Med Teach 2010;32:676-82. [Google Scholar]

Citation de l’article : Lacasse M., Rheault C., Tremblay I., Renaud J.-S., Coché F., St-Pierre A., Théorêt J., Tessier S., Arsenault L., Simard M.-L., Simard C., Savard I., Castel J., Côté L., Développement, validation et implantation d’un outil novateur critérié d’évaluation de la progression des compétences des résidents en médecine familiale. Pédagogie Médicale 2017:18;83-100

Liste des tableaux

Tableau I

Indicateurs de développement en médecine familiale de l’Université Laval − description des niveaux d’autonomie pour chaque compétence.

Dans le texte

Liste des figures

thumbnail Figure 1

Élaboration des indicateurs de développement pour l’OCÉC-MF.
Dans le texte
thumbnail Figure 2 Indicateurs de développement en médecine familiale de l’Université Laval − illustration des intervalles attendus pour l’acquisition des diverses compétences.

La figure 2 illustre, sous la forme d’une échelle comparable à l’échelle de développement pédiatrique de Denver [39], la progression des attentes pour l’acquisition d’un comportement partiellement autonome, puis autonome au cours de la résidence en médecine familiale.

Par exemple, la compétence « Générer des hypothèses diagnostiques » devrait être démontrée de façon autonome avant la fin de la 13e période de la 1re année de formation.
- Si un résident à sa 2e période de formation est déjà autonome (considère un large éventail d’hypothèses diagnostiques fondées sur la prévalence des problèmes et leur dangerosité, mais cible rapidement quelques diagnostics différentiels précis selon les éléments clés identifiés) pour cette compétence, elle est alors démontrée de façon précoce. À partir de la 4e période, il deviendra attendu.
- S’il en est aussi à sa 2e période de formation et plutôt partiellement autonome (identifie la plupart des éléments clés permettant de générer un diagnostic différentiel raisonnable pour les problèmes fréquents et demeure moins familier avec les présentations atypiques), pour cette compétence, on considérera qu’il est attendu. Si le résident est toujours partiellement autonome au-delà de la 13e période, on considérera une démonstration tardive jusqu’à la 7e période de la 2e année. Au-delà de cette période, on considérera un retard de développement.
- S’il en est aussi à sa 2e période de formation et présente des difficultés sérieuses à générer des hypothèses diagnostiques appropriées (peu autonome), on considérera une démonstration tardive. S’il persiste à être peu autonome au-delà du curseur ▲, on considérera un retard de développement à partir de la 7e période.
Dans le texte
thumbnail Figure 3 Visuel de l’outil critérié d’évaluation des compétences − Écran 1 : niveaux d’autonomie.

Une info-bulle décrivant chacun des niveaux d’autonomie (détaillés au Tableau I) apparaît lorsque l’évaluateur pointe une case à cocher.
Dans le texte
thumbnail Figure 4 Visuel de l’outil critérié d’évaluation des compétences − Écran 2 : résultat selon les indicateurs de développement en médecine familiale de l’Université Laval.

Après avoir sélectionné les niveaux d’autonomie correspondant au comportement de l’apprenant (Figure 3), le système informatique établit la correspondance avec les attentes quant aux intervalles d’acquisition des compétences (Figure 2). Chaque compétence est donc identifiée comme précoce, attendue, limite ou en retard. Le système propose ensuite le résultat du stage en fonction du nombre de compétences clé/non-clé qui sont limites ou en retard.
Dans le texte

Les statistiques affichées correspondent au cumul d'une part des vues des résumés de l'article et d'autre part des vues et téléchargements de l'article plein-texte (PDF, Full-HTML, ePub... selon les formats disponibles) sur la platefome Vision4Press.

Les statistiques sont disponibles avec un délai de 48 à 96 heures et sont mises à jour quotidiennement en semaine.

Le chargement des statistiques peut être long.