Numéro |
Pédagogie Médicale
Volume 18, Numéro 1, Février 2017
|
|
---|---|---|
Page(s) | 7 - 15 | |
Section | Recherche et perspectives | |
DOI | https://doi.org/10.1051/pmed/2017021 | |
Publié en ligne | 15 décembre 2017 |
L'introduction d'une séance de simulation in situ standardisée dans un dispositif de sélection en anesthésie-réanimation peut-elle aider à mieux sélectionner les futurs candidats spécialistes ?
Could the introduction of a standardized in situ simulation session help improve candidate selection in anesthesiology?
1
Université de Liège CHU (ULg CHU), Domaine universitaire du Sart-Tilman, Service d’anesthésie-réanimation,
Liège, Belgique
2
Université catholique de Louvain (UCL), SSS, IREC,
Bruxelles, Belgique
3
Centre hospitalier de Wallonie-Picarde, Service d'anesthésie-réanimation,
Tournai, Belgique
* Correspondance et offprints : Fernande LOIS, Avenue de l'Hôpital, Bat. B35, 4000 Liège, Belgique. Mailto : fernande.lois@chu.ulg.ac.be.
Reçu :
20
Août
2015
Accepté :
22
Octobre
2017
commentaires éditoriaux formulés aux auteurs le 22 avril et le 16 octobre 2017
Contexte : Un dispositif de sélection doit permettre d'évaluer les compétences nécessaires à l'entrée en formation. Aucune méthode d'évaluation isolée ne permet de fournir ces données. Notre dispositif repose sur quatre éléments : résultats antérieurs, examen écrit, stage et présentation orale. Malgré cette approche, les enseignants cliniciens rapportent régulièrement un écart entre les résultats de la sélection et les performances sur le terrain. But : Évaluer l'apport de l'introduction de la simulation lors de la sélection dans l'amélioration de la qualité du classement de sélection. Matériel et méthodes : Seize postulants participent à une séance de simulation filmée. Les performances sont évaluées à l'aide d'une grille d'évaluation critériée. Les scores obtenus pour les épreuves sont collectés ainsi que les résultats des évaluations durant les première et deuxième années de formation. Plusieurs modèles de sélection sont élaborés pour évaluer l'intérêt de la simulation dans le cadre de la sélection. Résultats : Il n'existe pas de corrélation entre le résultat obtenu lors de la sélection et les évaluations de stage de première et deuxième années de formation. Une corrélation significative entre les résultats de la sélection et les résultats globaux de première et deuxième années est trouvée dans le modèle intégrant la simulation aux évaluations actuelles. L'analyse multivariée met en évidence l'examen écrit comme facteur indépendant de réussite en première et deuxième années de formation. Conclusion : L'introduction d'une séance de simulation dans le dispositif de sélection semble améliorer la qualité du classement de sélection. Elle semble particulièrement intéressante pour remplacer les évaluations de stage.
Abstract
Context: A selection process is required to assess the skills needed to enter training. No single assessment method can provide this data. Our system is based on four elements: previous results, a written examination, the clerkship and an oral presentation. Despite this approach, clinician teachers regularly report gaps between selection results and field performance. Aim: To evaluate how the introduction of a simulation during selection improves the quality of the selection ranking. Materials and methods: Sixteen applicants participate in a video simulation session. A criterion-referenced evaluation grid is used to assess performance. The test scores are collected as well as the results of the evaluations during the 1st and 2nd years of training. Several selection models are developed to evaluate the significance of the simulation in the selection process. Results: No correlation was found between the results obtained during the selection and the evaluations of the 1st and 2nd year of training. The model, which integrates simulation with current evaluations, shows a significant correlation between the selection results and the overall results of the 1st and 2nd years. The multivariate analysis draws attention to the written examination as an independent factor of success in the 1st and 2nd years of training. Conclusion: The introduction of a simulation session in the selection process seems to improve the quality of the selection ranking. It seems significant in replacing clerkship evaluations.
Mots clés : simulation / évaluation
Key words: simulation / evaluation
© EDP Sciences / Société Internationale Francophone d’Education Médicale, 2018
Introduction
Le dispositif idéal de sélection de candidats au programme de formation spécialisée en anesthésie-réanimation (AR) devrait permettre d'évaluer les compétences et attributs nécessaires à l'entrée en formation et à la réussite future. Il est en effet souhaitable de pouvoir distinguer les candidats qui ont des aptitudes particulières pour la spécialité des autres candidats [1] et d'éviter les choix inappropriés menant à une déception du candidat et des enseignants.
Il faut cependant prendre en compte qu'aucune méthode d'évaluation, prise isolément, ne permet de fournir les données nécessaires à un jugement dans un domaine aussi complexe que la prestation de soins par un professionnel de santé [2].
En Belgique, le dispositif actuellement en place pour la sélection est réglementé par des textes légaux stipulant que le jury sélectionne les candidats sur la base d'un classement résultant pour moitié des résultats académiques de toutes les années d'études de second cycle, pour un quart des résultats particuliers des enseignements de second cycle directement liés au grade académique de troisième cycle visé et pour un quart d'une évaluation par la commission des capacités et motivations spécifiques de l'étudiant pour briguer le titre professionnel particulier. Les règles de fonctionnement de chaque commission précisent les modalités de ce classement. Le nombre de places disponibles pour l'accès à la profession est également fixé par l'État [3]. Ainsi, l'application pratique résulte de la prise en compte de quatre éléments d'évaluation au sein du master complémentaire étudié : les résultats académiques antérieurs et ceux obtenus respectivement à un examen écrit de connaissances spécifiques, à une présentation orale et lors de l'évaluation d'un stage de quatre mois dans la spécialité. L'ensemble de ces résultats est formulé par un score, résultant de l'application des barèmes respectifs et un minimum de soixante points sur cent est nécessaire pour être sélectionné. Le classement définit l'ordre de priorité pour les places de stage disponibles donnant accès à la profession.
Malgré cette approche qui mutualise plusieurs sources d'information, les enseignants cliniciens encadrant les candidats en formation rapportent souvent un écart entre la position dans le classement de la sélection et les performances qu'ils observent sur le terrain – le does de la pyramide de Miller [4] – en première et deuxième année de formation. Cette discordance pourrait notamment être expliquée par le choix des éléments d'appréciation pris en compte dans le dispositif de sélection. En effet, des travaux antérieurs réalisés dans le contexte de formation belge montrent que le succès au terme des études de médecine est faiblement corrélé aux résultats des trois premières années d'études de médecine [5,6]. Il n'existe cependant pas de travaux portant sur le deuxième cycle.
Une autre explication peut résider dans les divergences quant aux conceptions de la compétence et de la performance sur lesquelles s'appuient les enseignants cliniciens dont le niveau de compétence pédagogique est variable [7]. Le terme de compétence est en effet polysémique. Il existe de nombreuses définitions de la compétence. Celle formulée par Tardif [8] est souvent reprise au sein de la communauté francophone en éducation médicale : « Un savoir-agir complexe prenant appui sur la mobilisation et la combinaison efficaces d'une variété de ressources internes et externes à l'intérieur d'une famille de situations ». Le registre des compétences à développer résulte donc d'une analyse et d'un éventuel regroupement des diverses situations concernées par le champ disciplinaire. En effet, chaque patient est unique et chaque intervention est différente mais des similitudes peuvent être retrouvées entre ces éléments. Le lien entre compétence et performance est précisé par Scallon [9] qui explique que « la compétence est une capacité, une potentialité non observable ou encore une caractéristique permanente des individus. Un individu est compétent même s'il est momentanément inactif. La compétence se distingue donc de la notion de performance, qui en est la manifestation concrète ». Pour cet auteur, pour inférer une compétence, il faut à la fois avoir conçu ou sélectionné une ou plusieurs situations complexes face auxquelles l'apprenant pourra démontrer ce dont il est capable, et avoir élaboré des outils de jugement permettant d'intégrer en un tout cohérent des indices observés.
Nous sommes de plus confrontés à la difficulté d'une évaluation directe de l'étudiant puisqu'il n'est jamais seul à son stade de formation pour la réalisation des tâches. Or, à défaut de pouvoir évaluer directement l'étudiant dans une pratique clinique autonome, il faut au moins, selon Miller [4], évaluer jusqu'au troisième niveau de la pyramide, à savoir celui du show how.
L'examen clinique objectif structuré (ECOS) et la simulation font partie des dispositifs d'évaluation proposés pour évaluer les compétences cliniques des futurs médecins. Les ECOS sont des épreuves où l'étudiant passe par une série de stations dans lesquelles il a un problème à résoudre en un temps limité. Les tâches sollicitées dans chacune des stations peuvent être techniques (par exemple : réaliser une suture de plaie) ou faire appel à un patient standardisé chez lequel l'étudiant devra réaliser une anamnèse et/ou pratiquer un examen clinique. Les objectifs de performance pour chaque station sont identifiés et notés sur une check-list que l'examinateur suit scrupuleusement. L‘étudiant est ainsi observé directement sur le savoir-faire et l’acquisition de gestes techniques appris tout au long du programme médical. Les ECOS permettent donc une observation directe de l'étudiant dans une tâche simulée mais strictement standardisée. Cependant, ce mode d'évaluation est peu apprécié des étudiants qui reprochent particulièrement le format simpliste de la formule, qui ne correspond pas à leur niveau de formation. De plus, les ECOS ne sont pas associés à une rétroaction et semblent donc manquer de transparence pour les étudiants [10].
La simulation médicale peut faire appel à des dispositifs plus réalistes et plus complexes que les ECOS. L'environnement de simulation en AR est décrit par Gaba et De Anda [11] comme la re-création de la salle d'opération pour la formation. Elle se rapproche des pratiques développées en lien avec la perspective de l'apprentissage et de l'enseignement contextualisés authentiques (AECA) [12]. En effet, les situations proposées aux étudiants remplissent, d'une part, les conditions associées au principe de l'authenticité du contexte (respect du contexte de mobilisation, développement de compétences, situations complètes et complexes, contenus pluridisciplinaires, situations-problèmes multidimensionnelles et diversifiées, solutions, conclusions et interprétations multiples) mais aussi les conditions associées au compagnonnage cognitif, développé par Collins et al. [13], que sont l'articulation des connaissances, la réflexion sur l'action, la généralisation et la discrimination, le coaching, l'échafaudage, la modélisation et le retrait graduel. Elle peut se dérouler, soit en centre de simulation, soit in situ. Dans la deuxième éventualité, elle se caractérise par l'organisation de séances de formation par simulation dans l'environnement de travail habituel de l'équipe formée. Ce type de simulation est très apprécié par les étudiants dans le cadre de l'évaluation formative [14]. Peu d'études se sont cependant intéressées à la place de la simulation dans l'évaluation certificative de compétences [15] et plus particulièrement lors de l'entrée en formation [16].
Nous avons donc émis l'hypothèse que l'introduction d'une séance de simulation in situ standardisée dans le dispositif de sélection des candidats permettrait d'améliorer la qualité du classement et, en conséquence, de sélectionner pour l'entrée en formation spécialisée les candidats dotés des meilleures aptitudes pour la spécialité.
Méthodes
Dispositifs
Après obtention de leur consentement et de celui des autres acteurs concernés (stagiaires médecins et infirmiers), les 16 postulants à la sélection en AR au sein du master complémentaire de l'Université catholique de Louvain pour l'année académique 2012–2013 ont été enrôlés pour participer à une séance de simulation in situ standardisée sur mannequin en AR. Cette session a été organisée en avril 2012, à la fin d'une période de stage de quatre mois en AR. Afin d'être familiarisé avec la simulation in situ, tous les postulants ont participé durant la période de stage spécifique à une ou plusieurs séances de simulation sur mannequin dans le cadre de l'évaluation formative des candidats spécialistes en formation.
Le scénario proposé pour cette séance unique consistait en la préparation de la salle d'opération et l'induction anesthésique d'un patient masculin, sans antécédents majeurs, pour une chirurgie ambulatoire. Afin de préparer la situation clinique, les étudiants recevaient le dossier d'évaluation préopératoire du patient la veille de la séance de simulation. Chaque postulant était assisté pendant la simulation d'un infirmier de bloc opératoire et pouvait demander l'aide d'un senior. Le scénario était interrompu d'office après 45 minutes, temps considéré comme suffisant pour réaliser les tâches demandées. Les séances de simulation étaient filmées. Un débriefing systématique était organisé selon une approche cognitiviste à la fin de chaque séance.
Afin d'évaluer la performance des postulants, les vidéos étaient visualisées a posteriori par un seul évaluateur à l'aide d'une grille d'évaluation critériée (Annexe 1). Cette grille d'évaluation critériée avait été construite à partir d'un référentiel identifiant 12 compétences nécessaires à l'entrée en formation en AR. Ce référentiel avait été préalablement élaboré à partir d'interviews semi-structurées à saturation de six anesthésistes-réanimateurs participant à l'enseignement pratique des candidats spécialistes du master complémentaire. Trois films de séances de simulation réalisées dans le même contexte avaient ensuite été sélectionnés de manière subjective (« bonne impression » ou « mauvaise impression ») puis visualisés et analysés avec le référentiel de compétences, de manière à identifier les indicateurs de performance permettant d'inférer chacune des compétences. En l'occurrence, sept compétences étaient mobilisées dans le scénario proposé ; 19 indicateurs de performance avaient été mis en évidence. Pour chaque indicateur, trois niveaux de performance étaient retenus (non acquis = 0, acquisition minimale = 1, acquisition optimale = 2), ce qui permettait de générer un score théorique maximal de 38 points.
Les scores obtenus par les postulants à la sélection en AR pour les différentes épreuves de la sélection (résultats antérieurs, examen écrit, présentation orale et stage spécifique) ont été collectés. Les scores théoriques maximaux pour chaque épreuve étaient de 50 pour les résultats antérieurs, 10 pour l'examen écrit, 15 pour la présentation orale et 25 pour le stage spécifique.
Les résultats obtenus par les candidats sélectionnés lors des examens écrits, stages et travaux d'apprentissage par problèmes (APP) réalisés durant leurs première et deuxième années de formation ont été également collectés.
Plusieurs modèles de sélection ont ensuite été élaborés en tenant compte du contexte réglementaire en vue d'évaluer l'intérêt de la simulation dans le cadre de la sélection des candidats en AR. Les modèles proposés sont les suivants : modèle actuel (MA), modèle actuel intégrant la simulation (MAS), modèle actuel où la simulation remplace le stage (MAS – St), modèle actuel où la simulation remplace la présentation orale (MAS – PO), modèle actuel où la simulation remplace l'examen écrit (MAS – E) et un modèle associant résultats antérieurs et simulation (RA + S).
Analyse statistique
Une analyse descriptive des données a été réalisée. Les résultats sont exprimés en moyenne ± écart-type ou médiane (écart inter-quantile 25–75) selon la normalité de la distribution.
Des analyses de corrélation de Pearson ont ensuite été réalisées entre les différents éléments de l'évaluation et entre les différents éléments et modèles proposés et les résultats observés en première et deuxième années de formation.
Finalement, afin d'étudier l'influence simultanée de différents facteurs sur la réussite de première et deuxième années de formation, une analyse de régression linéaire multiple a été réalisée entre les différents éléments du dispositif et les résultats globaux de première et deuxième années de formation.
Une valeur de p < 0,05 a été considérée comme significative. Tous les tests statistiques ont été effectués avec le logiciel JMP 13®.
Résultats
Les 16 postulants ont réalisé la séance de simulation proposée. Ces 16 séances de simulation standardisées ont été filmées. Néanmoins, seuls 13 films ont pu être exploités pour des raisons techniques, les fichiers vidéo informatiques de trois candidats ayant été mal sauvegardés et impossibles à ouvrir a posteriori. Ces 13 séances ont été visualisées par un seul évaluateur à l'aide de la grille d'évaluation critériée.
Le score moyen obtenu pour la simulation par les postulants est de 22,9 ± 6,9. Le score global moyen obtenu par les postulants au terme des épreuves est de 67,1 ± 18,2. La moyenne pour les résultats antérieurs est de 28,4 ± 11,8. Pour les autres épreuves, les médianes sont respectivement de 6,8 (6,175–7,2) pour l'examen écrit, 11,7(8,85–12,95) pour la présentation orale et 24 (21,25–24) pour le stage.
Les scores moyens obtenus pour les différents modèles proposés sont respectivement de 60 ± 17,3 pour MAS, 57 ± 17,4 pour MAS – St, 62,9 ± 18,1 pour MAS – E et 62,4 ± 16,7 pour le MAS – PO. Le score médian pour le modèle RA + S est de 64,4 (42,2–68,25).
Au terme de la procédure de sélection, 13 candidats ont été retenus pour débuter le master complémentaire en AR lors de l'année académique 2012–2013. Sur les 13 candidats retenus, 10 ont un score obtenu en simulation.
Les résultats moyens ou médians de première et deuxième années de formation (années académiques 2012–2013 et 2013–2014) obtenus par les candidats sélectionnés dans les différentes épreuves (20 points par épreuve) sont : pour l'examen écrit de 15,3 (15,2–15,8) en première année et de 13 (13–13,5) en deuxième année ; pour les stages de 16 (15–17) en première année et de 16,5 (16–17) en deuxième année : pour les travaux d'APP de 13,6 ± 1,6 en première année et de 15,4 (14,2–17) en deuxième année et finalement pour résultat global de l'année de 45 (43–46,5) en première année et de 45,2 (41,9–47,6) en deuxième année.
Aucune corrélation n'est trouvée entre les résultats antérieurs et le score à l'épreuve de simulation. Une corrélation positive significative existe entre le score de simulation et les résultats de l'examen écrit (r ≡ 0,63, p = 0,02), du stage (r ≡ 0,83, p = 0,0003) ou de la présentation orale (r ≡ 0,88, p < 0,0001).
Une corrélation positive est trouvée entre le score de simulation et le stage de deuxième année (r ≡ 0,68, p = 0,03). De même, une corrélation positive est trouvée entre les résultats antérieurs et le résultat global (r ≡ 0,59, p = 0,03) de première année. Une corrélation positive est également trouvée entre la présentation orale et le stage de première année (r ≡ 0,56, p = 0,05) et le stage de deuxième année (r ≡ 0,79, p = 0,001).
Aucune corrélation significative n'est trouvée entre les différents modèles de sélection, y compris le modèle actuel, et les résultats du stage de première année. Une corrélation positive est trouvée entre tous les modèles sauf le MAS – E et le résultat global de la première année. Les valeurs respectives de corrélation sont r ≡ 0,65, p = 0,02 pour le MA, r ≡ 0,62, p = 0,05 pour le MAS, r ≡ 0,67, p = 0,03 pour le RA + S, r ≡ 0,61, p = 0,05 pour MAS – St et r ≡ 0,63, p = 0,04 pour MAS – PO.
Aucune corrélation n'est trouvée entre le stage de deuxième année et les différents modèles y compris le MA. Aucune corrélation significative n'est mise en évidence entre le MA, le MAS – E ou le MAS – PO et le résultat global de deuxième année. Une corrélation significative est trouvée entre le résultat global de deuxième année et le MAS (r ≡ 0,64, p = 0,04), le RA + S (r ≡ 0,68, p = 0,03) et le MAS – St (r ≡ 0,66, p = 0,03).
L'analyse de régression linéaire multiple met en évidence l'examen écrit comme facteur indépendant de la réussite globale de la première année (p = 0,0019) et de la deuxième année de formation (p = 0,0003).
Discussion
Nous avions donc émis l'hypothèse que l'introduction d'une séance de simulation in situ standardisée dans le dispositif de sélection des candidats permettrait d'améliorer la qualité du classement de la sélection et donc de prendre en formation les candidats aux meilleures aptitudes pour la spécialité. En effet, des enseignants cliniciens rapportaient fréquemment des performances observées faibles chez des candidats spécialistes en AR ayant obtenu un score élevé lors des épreuves de sélection ou mentionnaient la présence de candidats inadaptés à la pratique professionnelle dont l'évolution n'était pas favorable.
Si nous avons mis en évidence une corrélation entre le score du MA et les résultats globaux de deuxième année, nous n'avons mis en évidence aucune corrélation entre ce dernier et les résultats globaux de première année ou les évaluations des stages de première et deuxième année de formation. Cependant, les résultats globaux ou les évaluations de stage ne plaident pas en faveur de performances faibles. En effet, les médianes respectives de la première et la deuxième années sont de 16/20 et 16,5/20 pour les évaluations de stage et de 45/60 et 45,2 pour les résultats globaux.
Une première explication à ce constat pourrait être la compétence pédagogique variable des enseignants cliniciens [8]. Une autre explication pourrait être liée aux qualités docimologiques des évaluations de stage mises en place. En effet, les attentes de performance sur le terrain des cliniciens-enseignants sont souvent disproportionnées par rapport au niveau de compétences du candidat spécialiste de première ou deuxième années. À ce stade de formation, le candidat est souvent novice ou débutant dans l'acquisition des compétences spécifiques à la spécialité. À cela, il faut ajouter les difficultés d'une évaluation de qualité ; même si, à notre connaissance, il n'existe pas de travaux spécifiques sur la qualité de l'évaluation des stages d'internat en AR, il est probable que celle-ci ait les mêmes écueils que celle des stages d'externat [10].
Un troisième élément pouvant expliquer les discordances est la qualité du classement. Nous n'avons en effet aucune certitude que les éléments pris en compte pour le classement soient valides et/ou fidèles. Pour qu'une mesure soit valide, il faut que les méthodes choisies pour les différentes évaluations soient aptes à mesurer ce qu'elles prétendent mesurer. Si nous pouvons postuler que cette affirmation est correcte pour les résultats antérieurs, nous n'avons, par contre, aucune mesure permettant de le valider pour l'examen écrit ou encore la présentation orale. Quant aux évaluations de stage, nous les avons remises en cause précédemment. En ce qui concerne la fidélité du modèle, permettant de fournir une mesure constante d'un phénomène constant [17], elle est incertaine car, même si nous trouvons un ensemble d'évaluations réalisées au cours du temps par différents évaluateurs, nous ne pouvons affirmer que tous ces évaluateurs portent sur la performance académique des étudiants les mêmes types de jugement.
Nous avons donc introduit la séance de simulation in situ standardisée évaluée avec une grille critériée dans notre dispositif en vue d'améliorer les qualités docimologiques du système de sélection en place. Nous avons choisi une séance standardisée dans un contexte de recours possible d'un candidat non sélectionné. Il n'a cependant pas été prouvé que la standardisation soit nécessaire à la fidélité du jugement [2]. L'idéal serait de reproduire la mesure, à savoir réaliser plusieurs séances de simulation durant le stage. Néanmoins, il faut aussi tenir compte du fait que la simulation est un outil d'évaluation ouvert et dès lors, le critère de l'exactitude de la réponse ne fonctionne pas. Le risque d'un tel outil est la donc subjectivité [18]. C'est pourquoi, nous avons eu recours pour effectuer la notation à une échelle descriptive globale ou rubrique (rubric) [19] construite selon les modèles proposés par Stevens et Levi [20], ce qui réduit cette subjectivité. Néanmoins, le choix d'un seul évaluateur de la performance est discutable. Schwid et al. [21] suggèrent cependant qu'en utilisant une grille détaillée, un seul évaluateur est suffisant pour donner une note lors d'une séance de simulation.
Il semble que l'apport de cette unique séance de simulation dans le modèle MAS permette d'avoir un classement mieux corrélé aux résultats globaux de première et de deuxième années de formation, ce qui n'était pas retrouvé avec le modèle actuel.
Cependant, la simulation est coûteuse en temps et en ressources d'encadrement. Redistribuer le temps nécessaire aux autres évaluations vers la simulation nous semblait une possibilité à envisager et ce d'autant plus qu'il existe des corrélations significatives fortes entre différents éléments du dispositif. Ces corrélations pourraient dès lors exprimer une certaine redondance dans l'évaluation.
Deux modèles, plus légers en termes de ressources, RA + S et MAS – St, ont montré une corrélation avec les résultats globaux de première et deuxième années et pourraient donc être utilisés. Le MAS – St semble cependant le plus approprié. En effet, l'analyse de régression linéaire multiple a mis en évidence comme facteur indépendant de la réussite globale de la première année et de la deuxième année de formation, l'examen écrit. Il semble donc impossible de nous passer de l'examen écrit, si nous souhaitons avoir le dispositif de sélection le plus approprié et le plus prédictif des résultats ultérieurs dans le cadre du master complémentaire en AR étudié. Il faut préciser que l'examen écrit est construit de telle manière que l'étudiant soit confronté essentiellement à des situations nouvelles. L'étudiant doit faire une recherche approfondie dans son répertoire cognitif. En effet, le candidat doit lui-même sélectionner les connaissances nécessaires pour résoudre le problème. Ceci se rapproche donc de la notion de compétence. Il est également nécessaire de s'interroger sur la signification de la situation d'évaluation. Les situations de connaissances sont celles où l'on demande à l'étudiant de restituer des réponses apprises alors que dans les situations d'habileté, l'étudiant est incité à différents degrés à utiliser ses connaissances ou ses savoir-faire. Dans notre cas, il s'agit a priori de situations d'habiletés de haut niveau qui peuvent être soit une situation d'application, selon la taxonomie de Bloom, soit une situation de mobilisation, selon d'Hainaut [9]. De plus, le problème a un caractère authentique car il a un lien avec la prise en charge spécifique d'un patient. Néanmoins, si nous reprenons le modèle de Miller [4], la compétence clinique d'un médecin ne peut être vérifiée que lorsqu'il interroge, examine et soigne un patient sur le lieu de travail.
Si le modèle MAS – St était introduit pour établir le classement de la sélection, trois des candidats sélectionnés par le dispositif actuel n'atteindraient pas les 60 points requis. Par contre aucun candidat non sélectionné ne serait « repêché ». Il s'agit des trois candidats qui ont obtenu le moins bon résultat global en deuxième année de formation. Pour un de ces candidats, la question d'une réorientation vers une autre spécialité pour inaptitude à la pratique de la profession d'anesthésiste-réanimateur s'est d'ailleurs posée. Il n'est pas étonnant que le stage ne fasse pas partie du dispositif idéal. L'évaluation de stage des postulants utilisée par les cliniciens-enseignants dans le cadre du master complémentaire étudié comporte deux parties : une note globale se basant sur une échelle de comparaison avec les autres stagiaires de même niveau d'études et une appréciation écrite des points forts et des points à améliorer. Pour notre analyse, nous avons pris en compte la note globale car l'appréciation écrite n'est pas systématiquement remplie. Il est néanmoins possible que l'analyse des données qualitatives fournies par les appréciations écrites aurait été plus pertinente dans le cadre de notre hypothèse de travail.
Nous nous sommes dès lors posés la question de savoir si un score basé sur les résultats antérieurs, l'examen écrit et la présentation orale serait suffisant. Il semble que la réponse soit positive car une corrélation significative est retrouvée dans ce cas de figure entre un modèle de ce type et les résultats globaux de première et deuxième années de formation. Le règlement empêche cependant de ne pas évaluer les capacités et motivations spécifiques de l'étudiant pour briguer le titre professionnel. Or, ni les résultats antérieurs, ni l'examen écrit ne permet de le faire. Quant à la présentation orale, elle consiste en un exposé d'une quinzaine de minutes sur un sujet en lien avec la spécialité, laissé au choix du candidat, suivi d'une période de cinq à 10 minutes de questions–réponses. Le but de l'exercice de présentation est d'évaluer des capacités non spécifiques à la médecine ou à l'AR mais importantes pour un futur médecin, telles que la qualité de la communication orale, le sens de l'organisation, la capacité de prendre du recul ou encore la résistance à la pression. Cette approche ressemble à celle de Gale et al. [1] qui démontrent que leur dispositif permet de prédire la performance future. Dans ce cadre, un autre travail intéressant est celui de Tutton [22] qui montre une corrélation entre des notes d'entrevues orales et des tests psychométriques et leur capacité prédictive de la réussite des études de médecine. Il montre également que, concernant les composantes plus humanistes évaluées au cours de la formation (la communication, l'empathie, les bases de l'examen physique, etc.), les résultats positifs de l'entrevue sont prédictifs d'une meilleure réussite dans ces domaines. Pour cet auteur, la performance de l'étudiant en fin de parcours sur certaines habiletés cliniques et de communication est en lien direct avec certains traits de caractères plus ou moins désirables chez le futur praticien médical. Ces traits de caractère peuvent, selon lui, être mis en évidence lors d'entretiens semi-structurés. Notre travail semble confirmer ce lien entre les compétences mises en action pour la réalisation de la présentation orale et les compétences attendues lors du stage.
Il nous semble également important de noter, en plus des limites relevées précédemment, le nombre restreint d'étudiants inclus dans cette cohorte ou encore le caractère restreint de l'inférence des compétences à partir d'une seule séance de simulation.
Sur la base de nos résultats, nous pouvons conclure que l'introduction d'une épreuve de simulation in situ standardisée dans un dispositif de sélection de candidats en AR semble judicieuse en vue d'un classement si une évaluation des capacités et motivations spécifiques de l'étudiant pour exercer la profession est obligatoire. Cette épreuve de simulation permet d'affiner le classement, essentiellement pour les candidats les plus faibles. L'intérêt de la simulation repose probablement sur des qualités psychométriques supérieures aux autres épreuves et principalement aux évaluations de stages. D'autres travaux nous semblent cependant nécessaires pour extrapoler ces conclusions à d'autres contextes.
Contributions
Fernande Lois a participé à la conception du protocole de recherche, au recueil des données, à l'analyse statistique et à l'interprétation des résultats, à l'écriture du manuscrit. Marc De Kock a participé à la conception du protocole et à l'écriture du manuscrit.
Approbation éthique
Le projet d'étude a obtenu l'accord du comité d'éthique hospitalo-facultaire de l'Université catholique de Louvain (UCL) (no 4032011274)
Valorisation scientifique
Les données préliminaires du travail ont fait l'objet d'une présentation orale lors du 5e congrès international francophone de pédagogie des sciences de la santé (Bruxelles, 8 au 10 avril 2015) et du Congrès national d'anesthésie et de réanimation SFAR 2015 (Paris, 17 au 19 septembre 2015).
Conflits d'intérêts
Les auteurs déclareent n'avoir aucun lien d'intérêt concernant les données publiées dans cet article.
Remerciements
Les auteurs remercient David Kahn, Audrey Pospiech et Michel Van Dyck pour leur aide lors des séances de simulation.
Annexe
Grille d'évaluation critériée des performances des postulants lors de l'épreuve recourant à la simulation
ASA : American Society of Anesthesiology ; OMS : Organisation mondiale de la santé.
Références
- Gale TC, Roberts MJ, Sice PJ, Langton JA, Patterson FC, Carr AS, et al. Predictive validity of a selection centre testing non-technical skills for recruitment to training in anaesthesia. Br J Anaesth 2010;105:603‐9. [CrossRef] [PubMed] [Google Scholar]
- van der Vleuten CPM, Schuwirth LWT. Assessing professional competence: from methods to programmes. Med Educ 2005;39:309‐17. [CrossRef] [PubMed] [Google Scholar]
- Ministère de la communauté française. Décret modifiant les dispositions relatives aux études du secteur des sciences de la santé dans le décret du 5 septembre 1994 relatif au régime des études universitaires et des grades académiques et dans la loi du 27 juillet 1971 sur le financement et le contrôle des institutions universitaires du 23 février 2003. Moniteur belge du 11 avril 2004. Disponible sur : http://www.ejustice.just.fgov.be/eli/decret/2003/02/27/2003029191/moniteur. [Google Scholar]
- Miller GE. The assessment of clinical skills/competence/performance. Acad Med 1990;65:S63‐7. [Google Scholar]
- Kempenaers C, Linkowski P. Results of the third medical doctorate at the Brussels Free University: relationship with the first three years in the first generation students. Rev Med Brux 2002;23:443‐50. French. [PubMed] [Google Scholar]
- Kempenaers C, Cogan E, Linkowski P. How does success in the 1st cycle of medical school relate to outcome in the 3rd doctorate? Behavior of 1st generation students at the Brussels Free University under the numerus clausus. Rev Med Brux 2006;27:16‐20. [PubMed] [Google Scholar]
- Chamberland M, Hivon R. Les compétences de l'enseignant clinicien et le modèle de rôle en formation clinique. Pédagogie Médicale 2005;6:98‐111. [CrossRef] [EDP Sciences] [Google Scholar]
- Tardif J. L'évaluation des compétences. Documenter le parcours de développement. Montréal: Éditions de la Chenelière, 2006. [Google Scholar]
- Scallon G. L'évaluation des apprentissages dans une approche par compétences. Bruxelles: Éditions De Boeck, 2007. [Google Scholar]
- Langevin S, Hivon R. En quoi l'externat ne s'acquitte-t-il pas adéquatement de son mandat pédagogique ? Une étude qualitative fondée sur une analyse systématique de la littérature. Pédagogie Médicale 2007;8:7‐23. [CrossRef] [EDP Sciences] [Google Scholar]
- Gaba DM, DeAnda A. A comprehensive anesthesia simulation environment: re-creating the operating room for research and training. Anesthesiology 1988;69:387‐94 [CrossRef] [PubMed] [Google Scholar]
- Van Pee D, Frenay M, Godin V, Bédard D. Ce que la perspective de l'apprentissage et de l'enseignement contextualisés authentique peut apporter pour optimaliser la qualité des stages d'externat. Pédagogie Médicale 2010;10:253‐66. [Google Scholar]
- Collins A, Brown JS, Holum A. Cognitive apprenticeship: making thinking visible. Am Educ 1991;6:38‐46. [Google Scholar]
- Lois FJ, Pospiech AL, Van Dyck MJ, Kahn DA, De Kock MF. Is the “in situ” simulation for teaching anesthesia residents a lower cost, feasible and satisfying alternative to simulation center? A 24 months prospective observational study in a university hospital. Acta Anaesthesiol Belg 2014;65:61‐71 [PubMed] [Google Scholar]
- Berkenstadt H, Ziv A, Gafni N, Sidi A. Incorporating simulation-based objective structured clinical examination into the Israeli National Board Examination in Anesthesiology. Anesth Analg 2006;102:853‐8. [CrossRef] [PubMed] [Google Scholar]
- Penprase B, Mileto L, Bittinger A, Hranchook AM, Atchley JA, Bergakker SA, Eimers TJ, Franson HE. The use of high-fidelity simulation in the admissions process: one nurse anesthesia program's experience. AANA J 2012;80:43‐8. [PubMed] [Google Scholar]
- Romainville M. Objectivité versus subjectivité dans l'évaluation des acquis des étudiants. Revue internationale de pédagogie de l'enseignement supérieur 2011 [En ligne]. Disponible sur : http://ripes.revues.org/499. [Google Scholar]
- Gerard FM. Les outils d'évaluation ouverts, ou la nécessité de clé de fermeture, in Évaluer pour former, Baillat G, De Ketele J-M, Paquay L, Thélot C, Editors. Éditions De Boeck: Bruxelles, 2008, p. 99-110. [Google Scholar]
- Berthiaume D, David J, David T. Réduire la subjectivité lors de l'évaluation des apprentissages à l'aide d'une grille critériée : repères théoriques et applications à un enseignement interdisciplinaire. Revue internationale de pédagogie de l'enseignement supérieur 2011 [En ligne]. Disponible sur : http://ripes.revues.org/524. [Google Scholar]
- Stevens D, Levi A. Introduction to rubrics. Sterling: Stylus Publishing LLC, 2013. [Google Scholar]
- Schwid HA, Rooke AG, Carline J, Steadman RH, Bosseau Murray W, Olympio M, et al. Evaluation of anesthesia residents using mannequin-based simulation. Anesthesiology 2002;97:1434‐44. [CrossRef] [PubMed] [Google Scholar]
- Tutton P. The selection interview. J High Educ Policy Manage 1997;19:27‐33. [CrossRef] [Google Scholar]
Citation de l’article : Lois F., De Kock M., L'introduction d'une séance de simulation in situ standardisée dans un dispositif de sélection en anesthésie-réanimation peut-elle aider à mieux sélectionner les futurs candidats spécialistes ? Pédagogie Médicale 2017:18;7-15
Liste des tableaux
Grille d'évaluation critériée des performances des postulants lors de l'épreuve recourant à la simulation
Les statistiques affichées correspondent au cumul d'une part des vues des résumés de l'article et d'autre part des vues et téléchargements de l'article plein-texte (PDF, Full-HTML, ePub... selon les formats disponibles) sur la platefome Vision4Press.
Les statistiques sont disponibles avec un délai de 48 à 96 heures et sont mises à jour quotidiennement en semaine.
Le chargement des statistiques peut être long.