L'introduction d'une séance de simulation in situ standardisée dans un dispositif de sélection en anesthésie-réanimation peut-elle aider à mieux sélectionner les futurs candidats spécialistes ?

Could the introduction of a standardized in situ simulation session help improve candidate selection in anesthesiology?

¹ Université de Liège CHU (ULg CHU), Domaine universitaire du Sart-Tilman, Service d’anesthésie-réanimation, Liège, Belgique
² Université catholique de Louvain (UCL), SSS, IREC, Bruxelles, Belgique
³ Centre hospitalier de Wallonie-Picarde, Service d'anesthésie-réanimation, Tournai, Belgique

^* Correspondance et offprints : Fernande LOIS, Avenue de l'Hôpital, Bat. B35, 4000 Liège, Belgique. Mailto : fernande.lois@chu.ulg.ac.be.

Reçu : 20 Août 2015
Accepté : 22 Octobre 2017
commentaires éditoriaux formulés aux auteurs le 22 avril et le 16 octobre 2017

Résumé

Contexte : Un dispositif de sélection doit permettre d'évaluer les compétences nécessaires à l'entrée en formation. Aucune méthode d'évaluation isolée ne permet de fournir ces données. Notre dispositif repose sur quatre éléments : résultats antérieurs, examen écrit, stage et présentation orale. Malgré cette approche, les enseignants cliniciens rapportent régulièrement un écart entre les résultats de la sélection et les performances sur le terrain. But : Évaluer l'apport de l'introduction de la simulation lors de la sélection dans l'amélioration de la qualité du classement de sélection. Matériel et méthodes : Seize postulants participent à une séance de simulation filmée. Les performances sont évaluées à l'aide d'une grille d'évaluation critériée. Les scores obtenus pour les épreuves sont collectés ainsi que les résultats des évaluations durant les première et deuxième années de formation. Plusieurs modèles de sélection sont élaborés pour évaluer l'intérêt de la simulation dans le cadre de la sélection. Résultats : Il n'existe pas de corrélation entre le résultat obtenu lors de la sélection et les évaluations de stage de première et deuxième années de formation. Une corrélation significative entre les résultats de la sélection et les résultats globaux de première et deuxième années est trouvée dans le modèle intégrant la simulation aux évaluations actuelles. L'analyse multivariée met en évidence l'examen écrit comme facteur indépendant de réussite en première et deuxième années de formation. Conclusion : L'introduction d'une séance de simulation dans le dispositif de sélection semble améliorer la qualité du classement de sélection. Elle semble particulièrement intéressante pour remplacer les évaluations de stage.

Abstract

Context: A selection process is required to assess the skills needed to enter training. No single assessment method can provide this data. Our system is based on four elements: previous results, a written examination, the clerkship and an oral presentation. Despite this approach, clinician teachers regularly report gaps between selection results and field performance. Aim: To evaluate how the introduction of a simulation during selection improves the quality of the selection ranking. Materials and methods: Sixteen applicants participate in a video simulation session. A criterion-referenced evaluation grid is used to assess performance. The test scores are collected as well as the results of the evaluations during the 1st and 2nd years of training. Several selection models are developed to evaluate the significance of the simulation in the selection process. Results: No correlation was found between the results obtained during the selection and the evaluations of the 1st and 2nd year of training. The model, which integrates simulation with current evaluations, shows a significant correlation between the selection results and the overall results of the 1st and 2nd years. The multivariate analysis draws attention to the written examination as an independent factor of success in the 1st and 2nd years of training. Conclusion: The introduction of a simulation session in the selection process seems to improve the quality of the selection ranking. It seems significant in replacing clerkship evaluations.