© SIFEM, 2020

Introduction

La réforme du troisième cycle des études médicales en France

Le troisième cycle des études médicales correspond à la filière de formation spécialisée terminale, dénommée formation post-graduée dans plusieurs pays. Il succède au tronc commun des deux premiers cycles, d’une durée de six ans. Son organisation a récemment fait l’objet d’une réforme. Les principales caractéristiques de cette réforme reposent sur un parcours de spécialité par filières et un cursus en trois phases : une phase socle d’un an qui correspond à une acquisition des connaissances de base de la spécialité et des compétences transversales nécessaires à l’exercice de la profession ; suivie par une phase d’approfondissement de trois ans et enfin une phase de consolidation de deux ans. Ces profondes modifications organisationnelles s’appuient également sur un changement de paradigme pédagogique avec l’introduction de méthodes innovantes d’enseignement et d’évaluation, notamment la simulation en santé [1–3].

L’évaluation des habiletés techniques et la simulation en santé

La simulation en santé est devenue progressivement incontournable dans les cursus de chirurgie [4–6], du fait du développement technologique, de la chirurgie mini-invasive et des parcours du patient qui se sont modifiés. Le compagnonnage ne peut plus être le seul outil de formation et d’évaluation des compétences techniques à l’heure de l’adage « Jamais la première fois sur un patient » prôné par la haute autorité de santé (HAS) [3]. Ainsi, au niveau international, la standardisation de l’apprentissage des habiletés techniques en chirurgie est documentée de façon probante. À ce titre, un des « gold standard » pour la mesure de la performance des étudiants en chirurgie est l’Objective Structured Assessment of Technical Skills (OSATS) [4–9].

Au même titre que l’examen clinique objectif structuré (ECOS), l’OSATS est un outil d’évaluation basé sur l’observation directe de la performance des étudiants lors qu’ils effectuent une tâche technique. Il consiste en un circuit de plusieurs stations de quelques minutes, les étudiants circulant successivement au travers de chacune d’entre elles dans le cadre d’une rotation. Dans chaque station, ils effectuent une tâche technique précise, sur mannequin inerte, simulateur de haute ou basse technologie, ou sur une pièce anatomique. Leur performance est évaluée par un observateur qui dispose d’une grille d’évaluation établie à l’avance et spécifiquement adaptée à l’habileté technique évaluée [4]. Alors qu’il est très peu développé dans notre milieu, ce type d’évaluation a démontré sa validité et sa fiabilité pour mesurer les habiletés techniques individuelles des internes en chirurgie, sous réserve d’évaluateurs formés et de gestes techniques clairement définis [6,7]. Cet outil a été testé à tous les niveaux de formation [8–10] et pour un très grand nombre de disciplines [11–14]. Son utilisation est largement répandue, aussi bien au niveau national que pour un établissement et autant dans le cadre de l’évaluation formative [9,10,13] que de l’évaluation sommative [14,15].

Contexte académique et institutionnel de la formation en chirurgie au sein du Medical Training Center

La spécialisation voulue par la réforme du troisième cycle a entraîné de fait la disparition du tronc commun du diplôme d’études spécialisées (DES) de chirurgie générale, qui était basé sur des enseignements théoriques et cliniques communs à tous les DES de chirurgie, délivrés en début de cursus. Dans ce contexte, l’ensemble des responsables universitaires des disciplines chirurgicales de notre faculté a souhaité maintenir, parallèlement aux cursus officiels de chaque spécialité chirurgicale, un module d’enseignement commun à tous les internes des disciplines chirurgicales de première année inscrits dans notre centre hospitalo-universitaire, qui a été nommé « École de chirurgie ». L’objectif, face au risque d’hyperspécialisation précoce, était de maintenir une culture chirurgicale commune de compétences théoriques et d’habiletés techniques de base. Sur le plan institutionnel, le programme de l’École de chirurgie a fait l’objet d’un contrat pédagogique validé par le conseil de gestion de notre faculté. Il s’inscrit dans le cadre des journées hebdomadaires que tout interne doit consacrer à sa formation.

Organisation pratique de l’École de chirurgie

Dans ce cadre, l’École de chirurgie a remplacé les enseignements du DES de chirurgie générale dès la rentrée 2016. Les objectifs pédagogiques de ce nouveau programme ont été préalablement identifiés dans le cadre de groupes de discussion focalisée (groupes d’enseignants de chaque discipline, puis comité pédagogique de l’École de chirurgie), de façon à les centrer, respectivement, sur les principaux problèmes cliniques que les internes en chirurgie débutants, quelle que soit leur spécialité, peuvent être amenés à prendre en charge et sur les principales habiletés techniques qu’ils sont amenés à mettre en œuvre, lorsqu’ils sont au sein des services de chirurgie et de garde aux urgences chirurgicales polyvalentes du centre hospitalier universitaire (CHU). Il s’agit, par exemple, pour l’urologie : des connaissances nécessaires à la prise en charge des urgences urologiques, des habiletés techniques concernant le sondage vésical, le cathétérisme sus-pubien, la réalisation de sutures simples et en cœlioscopie. Le programme bâti à partir de ces objectifs se déroule d’octobre à mai, et comprend un séminaire d’accueil de trois jours et 12 journées de formation spécifique par discipline, chacune comprenant une demi-journée d’enseignement théorique centrée sur des dossiers cliniques préparés de façon encadrée par les internes et une demi-journée d’enseignement des habiletés techniques réalisée avec le matériel pédagogique et dans les locaux du Medical Training Center (MTC) Rouen Normandie, qui est le centre de simulation piloté par le CHU de Rouen en partenariat avec l’Université de Rouen, dont l’ouverture, concomitante à l’implantation de l’École de chirurgie a permis le développement de sessions d’entraînement aux habiletés techniques.

Ces sessions d’entraînement sont organisées en répartissant les internes en petits groupes de cinq ou six, selon une rotation entre plusieurs ateliers pratiques. Chaque atelier est supervisé par un enseignant de la discipline selon la séquence briefing-réalisation du geste-débriefing pour chaque interne.

Objectifs

Pour mesurer l’impact de ce nouveau programme de formation de nos internes et au vu des données de la littérature internationale sur l’évaluation des habiletés techniques en chirurgie, nous avons voulu mettre en place une évaluation formative des habiletés techniques à l’issue de chaque année, sous la forme d’un circuit OSATS, étant donné que ce type d’outil d’évaluation des habiletés techniques en formation chirurgicale initiale n’a jamais été rapporté dans notre milieu, notamment depuis la réforme du troisième cycle.

L’objectif principal de ce travail est donc de rapporter notre expérience d’implantation d’un OSATS pour mesurer les habiletés techniques des étudiants des trois premières promotions d’internes de chirurgie en phase socle ayant bénéficié des enseignements communs de l’École de chirurgie de notre faculté, d’en apprécier la faisabilité et l’apport pédagogique potentiel au sein des cursus en chirurgie.

Les objectifs spécifiques concernent la description du dispositif et du processus d’implantation, la réalisation d’une évaluation psychométrique préliminaire et le recueil de l’opinion et du degré de satisfaction des internes à l’égard de ce nouveau dispositif.

Méthodes

Type de l’étude

Il s’agit d’une étude de cohorte rétrospective et mono-centrique menée sur trois ans.

Population concernée

Tous les internes de chirurgie en première année nommés dans notre CHU de 2016 à 2018 (trois promotions) ont suivi le programme de l’École de chirurgie et ont accepté de participer à l’étude.

Les disciplines chirurgicales concernées sont celles qui assuraient une journée de formation spécifique au sein de l’École de chirurgie : chirurgie maxillo-faciale, chirurgie orale, chirurgie orthopédique et traumatologique, chirurgie pédiatrique, chirurgie plastique, reconstructrice, et esthétique, chirurgie thoracique et cardiovasculaire, chirurgie vasculaire, chirurgie viscérale et digestive, gynécologie-obstétrique, neurochirurgie, ophtalmologie, oto-rhino-laryngologie et urologie.

Pour chaque interne, les données suivantes ont été relevées : faculté d’origine, rang aux épreuves classantes nationales (ECN), spécialités choisies, présence d’un enseignement en simulation durant le deuxième cycle.

Développement de l’OSATS

Le développement de l’OSATS s’est déroulé en plusieurs étapes :

• constitution d’un jury d’examen, composé du responsable universitaire de l’École de chirurgie, du directeur médical du MTC, d’enseignants de chirurgie viscérale, orthopédique et pédiatrique ;

• détermination des objectifs d’évaluation, par consensus en recourant à la technique du groupe nominal au sein des membres du jury, en deux étapes :

• le listage des habilités techniques que les internes étaient censés rencontrer aussi bien en acticité courante qu’en activité d’urgence et que le jury estimait devoir être maîtrisées par tout interne en chirurgie à l’issue de sa phase socle.

• Au sein de cette liste, ont été ensuite choisies exclusivement les habiletés techniques qui avaient fait l’objet d’un atelier de formation lors des sessions pratiques de l’année écoulée. Cette sélection a permis d’identifier les habiletés suivantes : la suture cutanée, le sondage urinaire masculin, le drainage thoracique, l’échographie abdominale de débrouillage en salle de déchocage, la pose de chambre implantable, la communication et des gestes simples en cœlioscopie [15]. Les habiletés techniques n’ayant pas fait l’objet d’une séance d’entraînement spécifique lors des sessions de l’École de chirurgie n’ont pas été retenues.

• rédaction des stations « OSATS » par le responsable universitaire de la discipline concernée de façon conjointe avec un des membres du jury, chacune des stations étant centrée sur une des habiletés techniques identifiées par le jury. Pour chaque station, ce binôme devait rédiger : les instructions pour les internes (la tâche à accomplir de façon explicite et univoque, et le temps imparti), la liste du matériel et des consommables nécessaires (champs chirurgicaux, gants, fils de suture, appareil de simulation), la grille d’évaluation ainsi que sa pondération pour l’établissement des scores ;

• élaboration des grilles d’évaluation, délibérément sous la forme d’une liste de vérification binaire. Les grilles ont été focalisées sur les items jugés essentiels à la réalisation correcte du geste. Dans chaque grille, deux items mesurant la qualité organisationnelle et l’ergonomie globale de la réalisation du geste étaient cotés selon une échelle qualitative en cinq points (Fig. 1). Seule la station « suture cutanée » a fait l’objet d’une grille d’évaluation globale qualitative (voir Annexe A). Chaque grille ne devait pas contenir plus de 20 items. Le contenu des grilles, la pondération des items ont été revus et validés par le jury de l’examen ;

  Fig. 1 Station : Échographie abdominale de débrouillage aux urgences.

• recrutement des observateurs chargés d’évaluer les internes dans les stations, de gérer les rotations dans le circuit et de faire respecter les contraintes de temps. Ces observateurs ont été recrutés sur la base du volontariat parmi les membres du jury et les enseignants de l’École de chirurgie. Chaque observateur était spécialiste de la discipline concernée dans la station dont il avait la charge. Tous ont reçu au préalable une formation pour s’assurer de leur compréhension optimale et identique de chaque item de la grille, dans le but d’obtenir une standardisation correcte du processus d’établissement des scores.

Déroulement de l’OSATS

Les trois OSATS ont été organisés à l’issue des enseignements de l’École de chirurgie, sur une journée, dans le courant du mois de juin de l’année universitaire en cours, alors que les internes de première année avaient débuté leur second stage hospitalier. Les trois examens se sont déroulés dans les locaux du MTC. L’examen était constitué de quatre stations en 2017 puis de cinq à partir de 2018. Les stations formaient un circuit à travers lesquels les internes progressaient selon une rotation. Les internes étaient convoqués toutes les heures par groupe de cinq. Les salles où étaient postées les stations étaient contiguës pour faciliter les rotations des internes. Comme il s’agissait de mettre en oeuvre des habiletés techniques de base, en dehors de toute contextualisation clinique, que la finalité de l’examen était formative, et afin que chaque observateur puisse remplir les grilles adéquatement, il a été décidé que chaque station aurait la même durée de 10 minutes, avec une minute de battement entre les stations. La durée totale d’un circuit de cinq stations était de 55 minutes (Fig. 2).

Fig. 2 Schéma du circuit OSATS*.

Matériels utilisés

Nous avons utilisé pour les différentes stations du matériel basé sur des modèles inertes ou des simulateurs de basse et haute technologie (Fig. 3) :

• station suture cutanée : modèle en mousse (Tampon de sutures^TM, Medicalem) (Fig. 4A).

  Fig. 4 Comparaison des scores moyens obtenus à trois stations sur trois années successives.

• station sondage urinaire masculin : mannequin (Advanced Male Catheterization Trainer, Limbs & Things) (Fig. 4B) ;

• station cœlioscopie : laparo-trainer (Laparoscopic trainer, Abc-lap) (Fig. 4C) ;

• station drainage thoracique : mannequin (Tension Pneumothorax Simulator, Simulaids) (Fig. 4D) ;

• station échographie abdominale : mannequin (U/S Mentor^TM, Simbionix) (Fig. 4E) ;

• station pose de chambre implantable : mannequin adapté à la pose de cathéter (Chester Chest, Laerdal).

Fig. 3 Matériel pédagogique des cinq stations pour l’évaluation de 2018. (A) Suture cutanée ; (B) Sondage urinaire masculin ; (C) Atelier cœlioscopie ; (D) Drainage thoracique ; (E) Échographie abdominale.

Évaluation de la pertinence pédagogique de l’examen

Nous avons voulu obtenir des éléments en faveur de la validité apparente et de contenu de l’examen. Dans ce but, nous avons construit un questionnaire d’opinion sous forme d’échelle qualitative de Likert et de réponse binaire (oui/non). Chaque interne des promotions 2018 et 2019 l’a complété à l’issue du circuit. Le questionnaire complet est consultable en annexe (Annexe B).

Collecte des résultats et analyses statistiques

À chaque atelier, le score maximal était de 100 points à l’exception de l’atelier communication qui était noté sur 20 points. Les scores étaient ensuite ramenées à 20 pour chaque étudiant. Les résultats sont exprimés sous forme de moyenne ± écart type.

Pour vérifier l’hypothèse que l’OSATS et les ECN mesurent deux éléments différents de la compétence en chirurgie, nous avons étudié leur corrélation à l’aide du coefficient de corrélation de Spearman.

La fidélité de chaque grille d’évaluation a été appréciée par la mesure de la cohérence interne, analysée à l’aide du coefficient Alpha de Cronbach.

Pour juger de la stabilité des performances des cohortes successives, nous avons comparé les moyennes obtenues à trois ateliers consécutifs (suture cutanée, drainage thoracique et sondage urinaire masculin) pour les trois cohortes. Pour ce faire, nous avons utilisé un test ANOVA simple à un facteur, suivi du test post hoc de Tukey permettant de mettre en évidence les différences significatives (p < 0,05), à l’aide du logiciel GraphPad Prism 6.0. Nous avons préalablement vérifié que les données étaient distribuées selon la loi normale avec le test de Kolmogorov-Smirnov et de Shapiro-Wilk.

Concernant les réponses des internes au questionnaire d’opinion, nous avons analysé les données des variables qualitatives recueillies et exprimées en moyenne ± écart type sur la totalité de chaque atelier sauf pour l’atelier cœlioscopie qui est analysé par année et les données de variables quantitatives décrites avec les moyennes ± écart type. Par souci de clarté de présentation, les ancrages obtenus de 1 à 5 sur l’échelle de Likert ont été transformés en ancrages de −1 à +1. Les échelles de Likert du questionnaire étaient cotées sur cinq items de « pas du tout d’accord » à « Tout à fait d’accord ». Afin de se baser sur un repère simple, ces modalités ont été respectivement recodées −1, −0,5, 0, +0,5, +1. La moyenne et l’écart-type et les représentations graphiques ont été basées sur cette variable recodée.

Le calcul de moyennes avec écarts types à partir des réponses à des échelles de Likert permet de refléter plus simplement la tendance majoritaire, dans la mesure ou l’échantillonnage de 54 internes des deux dernières cohortes est suffisant [16].

D’autre part, nous avons comparé les variables quantitatives des questionnaires des cohortes de 2018 et 2019 ainsi que pour le groupe « avant » et le groupe « après » avec un test t de Student et, dans le cas où la distribution ne suivait pas une loi normale, avec un test non paramétrique de Mann-Whitney.

Résultats

Description de la population

Soixante-dix-neuf internes en phase socle de chirurgie ont été évalués : 25 en 2017, 26 en 2018 et 28 en 2019. La moyenne d’âge était de 25,6 ans en 2017, 26 ans en 2018 et 25,7 ans en 2019. Les trois promotions comportaient plus de femmes avec un sex-ratio de 0,92 en 2017, 0,63 en 2018 et 0,94 en 2019. Le rang moyen aux ECN était de 2756 en 2017, 2540 en 2018 et 2758 en 2019.

Les internes venaient de toutes les grandes régions de France. Rouen et Paris restent les deux villes les plus représentées, avec une diminution du nombre d’internes rouennais et une augmentation du nombre d’internes parisiens, respectivement neuf internes rouennais et sept parisiens en 2017, cinq et 11 en 2018 et cinq et 14 en 2019. Les spécialités les plus représentées étaient : la chirurgie orthopédique, la gynécologie obstétricale et l’ophtalmologie. Le descriptif complet des participants est fourni en annexe (Annexe C).

Moyennes des scores aux ateliers pratiques

Les étudiants ont été évalués sur quatre ateliers en 2017 (suture cutanée, sondage urinaire masculin, drainage thoracique et pose de chambre implantable), cinq en 2018 (suture cutanée, sondage urinaire masculin, drainage thoracique, station cœlioscopie et échographie abdominale) et six en 2019 avec l’ajout d’un atelier de communication et la modification de la station cœlioscopie. Les scores moyens par station sont représentés sur le tableau I.

Corrélation entre moyennes globales obtenues aux ateliers et rang aux épreuves classantes nationales

L’analyse entre les moyennes globales des scores obtenus aux ateliers en fonction du rang aux ECN n’a pas mis en évidence de corrélation avec un coefficient de corrélation de Spearman à 0.13 (IC95% : −0,11 à +0,36).

Coefficients de cohérence interne

Les coefficients de cohérence interne des grilles d’évaluation étaient respectivement à 0,73 (sondage urinaire), 0,77 (suture cutanée), 0,70 (échographie abdominale), 0,64 (drainage thoracique, 0,61 (station communication) et 0,87 (Ateliers cœlioscopie 2019).

Comparaison des scores moyens obtenus à trois stations (suture cutanée, sondage urinaire masculin et drainage thoracique) sur trois années successives

Les performances moyennes obtenues à l’atelier sondage urinaire masculin n’étaient significativement pas différentes d’une promotion à une autre (13,4 ± 3,6 en 2017 ; 14,8 ± 3,4 en 2018 ; 14,1 ± 4,5 en 2019 ; p > 0,05), de même qu’à l’atelier drainage thoracique (15,4 ± 3,6 en 2017 ; 14,5 ± 1,7 en 2018 ; 14,2 ± 3,2 en 2019 ; p > 0,05). La moyenne obtenue à l’atelier suture cutanée en 2018 (15,3 ± 0,9) était significativement inférieure comparativement à 2017 (17,5 ± 2 ; p < 0,001) et 2019 (17,1 ± 1,8 ; p < 0,0001) (Fig. 4).

Questionnaire d’opinion des internes

Les réponses des internes sont résumées sur les tableaux II et III. La majorité des internes ont été amenés durant leur pratique clinique à réaliser des sutures cutanées (0,90 ± 0,33). Par contre, ils ont été peu confrontés au drainage thoracique, à l’échographie abdominale et à la réalisation de nœuds en cœlioscopie en 2018 et 2019. La moitié des internes interrogés avaient eu l’occasion de réaliser un sondage vésical.

Les internes ont trouvé que l’environnement de simulation des habiletés techniques proposé était réaliste en particulier pour le sondage urinaire masculin et l’échographie abdominale (0,71 ± 0,36 et 0,65 ± 0,44 respectivement). Le drainage thoracique et les ateliers cœlioscopie 2018 et 2019 leur semblaient moins réalistes (0,39 ± 0,57 ; 0,42 ± 0,37 ; 0,27 ± 0,59 respectivement).

Au début de l’enseignement pratique, les étudiants ne se sentaient pas à l’aise sur la réalisation de l’ensemble des habiletés techniques. À la fin des sessions, tous se sentaient significativement plus en confiance (p < 0,01).

Les internes ont le sentiment d’avoir bien acquis les habiletés de sondage urinaire masculin (0,65 ± 0,40) et de suture cutanée (0,89 ± 0,23). Les habiletés d’échographie abdominale et de drainage thoracique étaient considérés comme moins acquises (0,15 ± 0,61 ; 0,16 ± 0,51 respectivement). Concernant l’atelier de cœlioscopie, les habiletés liées au premier exercice sur la suture coelioscopique en 2018 n’étaient que très peu acquisses (−0,13 ± 0,51) à la différence de ce qui a été constaté lors de l’atelier en 2019 (0,39 ± 0,57).

Les internes étaient d’accord sur la nécessité de maîtriser la suture cutanée pour leur pratique future (0,90 ± 0,37). Ils ont considéré que le sondage urinaire masculin est un geste technique à maîtriser (0,31 ± 0,75). À l’inverse, ils ne sont pas d’accord concernant le drainage thoracique (−0,21 ± 0,76) et la nécessité de maîtriser la suture coelioscopique (−0,12 ± 0,94). Les opinions étaient plus partagées concernant l’intérêt de l’échographie abdominale et de l’atelier cœlioscopie de 2019 (0,19 ± 0,75 ; 0,14 ± 0,85 respectivement).

Soixante-trois pour cent des internes n’avaient jamais bénéficié de formation spécifique aux habiletés techniques au cours de leur second cycle. Quatre-vingt-treize pour cent des internes jugent l’intégration de l’enseignement par la simulation indispensable dans leur cursus de formation. La grande majorité des étudiants étaient satisfaits de cet enseignement pratique durant leur année de phase socle (0,66 ± 0,31). Soixante-neuf pour cent d’entre eux ont émis le souhait que d’autres habiletés techniques soient enseignées notamment la traumatologie (Tab. III).

Discussion

Il s’agit d’une des premières expériences jamais rapportées dans notre milieu concernant l’évaluation objective et structurée des habiletés techniques ciblant les internes débutant leur cursus en chirurgie, en particulier depuis la mise en place de la réforme du troisième cycle des études médicales [1], dont les textes mentionnent la nécessité de formaliser un processus d’évaluation des compétences à l’issue de chaque phase du cursus et d’utiliser la simulation en santé [1,2].

L’enseignement principal de notre expérimentation d’OSATS concerne sa faisabilité. Nous n’avons pas rencontré de problèmes majeurs concernant l’organisation de l’épreuve, la composition du jury, l’identification des objectifs, la planification des circuits, la rédaction des tâches des stations, des grilles d’évaluation, l’établissement des scores. La logistique en termes de temps pour les enseignants, de préparation des salles et du matériel de simulation n’a pas constitué un facteur limitant. Nous avons pu ajouter un atelier supplémentaire chaque année sans que cela ait un retentissement sur la logistique. Nous avons choisi d’utiliser des simulateurs de basse technologie, plutôt que des dispositifs de haute technologie et des modèles animaux, à la fois pour des raisons budgétaires et éthiques. Le matériel pédagogique que nous avons utilisé pour les stations est constitué essentiellement de simulateurs de basse technologie (hormis le simulateur d’échographie). Les modèles de basse technologie et inertes sont d’ailleurs ceux le plus souvent utilisés pour évaluer les habiletés techniques basiques des internes de chirurgie [4,7,8,11,12] sans que cela affecte les performances des internes [4]. À ce titre, un tel dispositif évaluatif devrait pouvoir être généralisable aux autres facultés et CHU. Dans notre situation, deux éléments ont favorisé son implantation :

• sur le plan académique, l’École de chirurgie, optionnelle par rapport aux maquettes des DES de spécialités, a été fortement soutenue par notre faculté dont un des objectifs institutionnels est de garantir la traçabilité de ses activités de formation et de validation, tout en valorisant la place de la simulation en santé en formation initiale. À ce titre, elle a développé une stratégie très incitative en faveur de l’École de chirurgie en validant officiellement son contrat pédagogique et en proposant que les résultats obtenus par les internes aux OSATS soient accessibles à titre consultatif dans leurs dossiers universitaires. Le dispositif reste formatif ; les internes obtenant un trop mauvais score à telle ou telle station sont invités à suivre à nouveau l’atelier correspondant l’année suivante, lorsqu’ils sont en deuxième année.

• sur le plan pratique, l’organisation de cet examen a été facilitée grâce à un bâtiment entièrement équipé et dédié à la simulation en santé, situé à proximité du CHU et de la faculté et fonctionnant grâce à un partenariat CHU-Université et Faculté de santé. Bien qu’à notre sens, ce point ne soit pas rédhibitoire compte-tenu du niveau d’équipement de simulation utilisé pour cet examen, il faut admettre qu’à l’heure actuelle, au plan national, les dispositifs dont disposent la plupart des CHU et des facultés de santé, qui permettent d’utiliser des techniques de simulation pour la formation initiale et continue ne sont pas aussi développés et accessibles que le nôtre.

Certaines limites docimologiques de notre étude doivent être discutées, en particulier les modalités de développement des grilles d’évaluation. Nous avons essentiellement développé des grilles de type liste de vérification (check-list) binaire plutôt que les « scores OSATS », décrits par Martin et al. [4], qui sont des grilles d’évaluation globale qualitative. En effet ces dernières nous ont parues plus difficiles à construire et à s’approprier pour des enseignants qui sont majoritairement non familiers de ce type d’évaluation. Par ailleurs, la transformation des performances observées par des grilles qualitatives est peu aisée et ces grilles s’avèrent surtout utiles pour mesurer des tâches multidimensionnelles complexes [4,6–8]. Les qualités des deux types de grilles en termes de validité et de fidélité sont globalement similaires dans la littérature [4,6–8]. Hormis pour la station « suture cutanée », où les critères qualitatifs de réalisation et de gestuelle sont implicitement connus de tous les enseignants de chirurgie, nous avons fait le choix de développer des grilles de type liste de vérification binaire à la fois pour limiter les biais de subjectivité liés aux observateurs et par souci de simplicité et de faisabilité pour cette expérimentation initiale, centrée par ailleurs sur des habiletés techniques basiques décontextualisées. Bien que Fein et al. [17] rapportent que cela n’a que peu d’impact sur l’évaluation des étudiants, une piste d’amélioration sera de vérifier la fidélité inter-juges avec la même grille type liste de vérification et avec deux grilles différentes (liste de vérification et grille d’évaluation globale) au sein des mêmes stations.

Malgré ces limites docimologiques, nos résultats méritent considération. Ainsi les scores obtenus aux mêmes trois stations par trois cohortes successives d’internes, ayant reçu le même enseignement pratique, de niveaux de formation identiques et évalués par des juges différents d’une année à l’autre, se sont avérés très peu différents voire superposables. Ces données témoignent d’une certaine stabilité des scores avec ce type de grille. Par ailleurs, le niveau de fidélité des scores obtenus au sein des stations constituant les circuits, documenté par le calcul du coefficient de cohérence interne alpha de Cronbach, est encourageant avec des valeurs comprises entre 0,61 à 0,87. Bien que ce coefficient reflète de façon incomplète la notion de fidélité, nos résultats sont comparables aux données publiées concernant la cohérence interne des OSATS [4,6–8]. Il est à noter que nous avons prêté une attention particulière à la formation des observateurs qui étaient tous des enseignants en chirurgie expérimentés et à la standardisation de la rédaction des grilles d’observation, validées de façon collégiale. Le nombre de stations développées dans nos circuits OSATS est identique, voire supérieur à celui d’autres expériences [8,10,13]. Tous ces éléments plaident en faveur d’un certain niveau de cohérence interne des OSATS rapportés dans cette étude. En prolongement de ces résultats préliminaires, nous avons prévu d’organiser un circuit OSATS en début d’enseignement puis un circuit à la fin du programme d’enseignement selon une procédure test-retest, pour mesurer d’autres éléments de fidélité mais aussi la progression des internes et l’impact de nos sessions d’enseignement sur leurs habiletés techniques.

Les résultats des questionnaires d’opinion amènent des éléments de discussion concernant la validité de notre examen. Les internes ont majoritairement souligné le caractère réaliste des habiletés techniques évaluées dans les stations. Cette donnée est en faveur d’une validité apparente correcte de notre examen. Concernant la validité de contenu, il est à relever des différences d’appréciation entre le choix des enseignants sur les habiletés à tester, guidé par leur fréquence (suture cutanée, sondage urinaire), leur gravité potentielle et les possibilités de traitement (drainage thoracique, échographie de débrouillage) ou encore l’utilité pour leurs futurs cursus (habiletés basiques en chirurgie vidéoscopique) et les opinions des internes. En effet, peu d’entre eux avaient été confrontés en pratique clinique à la réalisation d’un drainage vésical, encore moins à un drainage thoracique ou à la réalisation d’une échographie de débrouillage, après un peu plus de sept mois d’internat comportant en moyenne, dans notre établissement, trois gardes par mois aux urgences. De plus, la plupart d’entre eux pensaient peu utile la maîtrise des trois habiletés sus-citées pour leur pratique future, alors qu’il s’agit cependant d’habiletés qui peuvent sauver des vies. Une explication pourrait être le fait que l’exposition clinique des internes concernés par cette étude est encore peu importante, ce qui peut influencer leurs besoins ressentis de formation par rapport aux besoins normatifs exprimés par les enseignants. Il est à ce titre paradoxal de relever que la performance à l’atelier cœlioscopie du dernier circuit basé sur l’exercice initial des fundamental laparoscopic skills (FLS) [15] (c’est-à-dire des gestes de bases à maîtriser pour obtenir le droit de pratiquer la cœlioscopie aux États-Unis) est très élevé alors que la majorité des internes débutants n’ont pas jugé cette habileté technique très utile à maîtriser. Cet atelier va être néanmoins maintenu car l’apprentissage de la cœlioscopie dès le début de la formation chirurgicale est bien documenté, y compris pour les disciplines non viscérales [14,15]. Outre le fait que ces résultats témoignent de l’écart observé habituellement entre les besoins ressentis par des apprenants en début de formation et les compétences qu’ils devront nécessairement acquérir pour leur pratique future, ces données doivent permettre de susciter une réflexion plus large sur les cursus de formation en chirurgie et les contenus des programmes.

Nous n’avons pas trouvé de corrélation entre les classements aux ECN et les performances des internes aux OSATS. Cela confirme que la compétence professionnelle en chirurgie, est multidimensionnelle et dépasse largement le cadre des habiletés techniques. Un processus d’évaluation des compétences en chirurgie devrait intégrer autant d’outils de mesure que de compétences à mesurer pour tendre vers une évaluation la plus juste possible. L’OSATS n’est qu’un outil parmi d’autres mais ses qualités docimologiques prouvées devraient permettre de l’intégrer dans la réflexion pédagogique globale sur la formation chirurgicale actuellement en cours dans notre milieu.

Il est intéressant de relever que très peu d’internes ont bénéficié d’une formation par simulation lors du deuxième cycle. Ils se sont déclarés satisfaits de ce programme de formation pratique aux habiletés techniques. Ils sont demandeurs d’intégrer davantage de simulation dans leur cursus.

Cette expérience préliminaire d’évaluation standardisée des habiletés techniques des internes en chirurgie est apparue très utile sur le plan pédagogique. Au même titre que les ECOS pour les compétences cliniques observables [18], l’OSATS apporte un retour d’information immédiat sur le niveau technique des internes, permet d’identifier leurs marges de progression, de leur proposer un suivi personnalisé et d’optimiser notre programme d’enseignement des gestes techniques.

Dans le contexte actuel de traçabilité de la formation en santé, ce rapport d’expérience en formation chirurgicale initiale renforce l’aspect incontournable de la simulation pour une stratégie optimale d’apprentissage et d’évaluation des habiletés techniques et non techniques, et devrait pouvoir être transposé dans d’autres centres de formation.

Contributions

Benjamin Bottet a participé à la conception du protocole de recherche, au recueil de données, à l’interprétation des résultats, à l’analyse statistique et à l’écriture du manuscrit. Jean Selim a participé à l’analyse statistique. Christophe Peillon a participé à la conception du protocole de recherche, à la correction et à la relecture du manuscrit. Jean-Marc Baste a participé à la correction et à la relecture du manuscrit. Lilian Schwarz et Philippe Grise ont participé à la conception du protocole de recherche et au recueil de données. Mariette Renaux-Petel a participé à la conception du protocole de recherche et au recueil de données. Louis Sibert a participé à la conception du protocole de recherche, au recueil de données, à l’interprétation des résultats, à l’écriture du manuscrit, à la correction et à la relecture du manuscrit

Liens d’intérêt

Aucun auteur ne déclare de conflit d’intérêts en lien avec le contenu de cet article.

Remerciements

Nous remercions Madame Nikki Sabourin pour la lecture et la correction du résumé en anglais.

Approbation éthique

S’agissant d’une évaluation formative avec participation basée sur le volontariat, ce travail n’a pas été soumis à un comité de protection des personnes mais il a été approuvé par le comité pédagogique de l’Unité de formation et recherche Santé de l’Université de Rouen.

Valorisation académique

Une partie de ce travail a été sélectionnée en tant que communication orale au 8^e congrès de la Société francophone de simulation en santé.

Annexe A Station Suture cutanée

Annexe B Le questionnaire d’opinion remplis par les internes

Annexe C Caractéristiques démographiques complètes des trois cohortes

Références

Liste des tableaux

Liste des figures

	Fig. 1 Station : Échographie abdominale de débrouillage aux urgences.
Dans le texte

	Fig. 2 Schéma du circuit OSATS*.
Dans le texte

	Fig. 3 Matériel pédagogique des cinq stations pour l’évaluation de 2018. (A) Suture cutanée ; (B) Sondage urinaire masculin ; (C) Atelier cœlioscopie ; (D) Drainage thoracique ; (E) Échographie abdominale.
Dans le texte

	Fig. 4 Comparaison des scores moyens obtenus à trois stations sur trois années successives.
Dans le texte