© SIFEM, 2021

Introduction

La génétique médicale est la spécialité qui étudie les causes des maladies génétiques et leur transmission au sein des familles. Elle s’appuie sur l’identification des causes moléculaires de ces pathologies pour déterminer le risque de récurrence familial. Elle organise les mesures nécessaires afin de prévenir les récidives (diagnostic prénatal, diagnostic préimplantatoire, conseil génétique aux apparentés). Elle a également pour objectif de mettre en œuvre les moyens de prévention et de prise en charge multidisciplinaire des patients [1,2]. L’enseignement de cette discipline est complexe car il suppose de l’étudiant l’acquisition de prérequis médicaux notamment en pédiatrie, gynécologie-obstétrique, oncologie, neurologie ou encore cardiologie [2,3]. Afin de comprendre les différents aspects du diagnostic moléculaire, de la prise en charge du patient et du conseil génétique, l’étudiant doit avoir de solides connaissances scientifiques de génétique fondamentale [3]. L’évaluation des compétences acquises au cours de l’enseignement doit donc à la fois explorer les larges connaissances déclaratives et conditionnelles acquises, mais également les capacités à résoudre des problématiques fréquentes de génétique médicale [4].

Actuellement, le deuxième cycle des études médicales français (externat) est sanctionné par les épreuves classantes nationales informatisées (ECNi). Ces épreuves sont constituées d’une série de questions isolées (QI) et de dossiers progressifs (DP). Les QI s’apparentent aux questions à choix multiple (QCM) à contexte riche et explorent les connaissances déclaratives ainsi que le résultat final du raisonnement. Les DP, quant à eux, correspondent à des cas cliniques à contexte riche. Ils permettent d’évaluer le raisonnement clinique dans un contexte précis [5,6]. Dans les prochaines années, les ECNi comporteront une épreuve répondant au format du test de concordance de script (TCS) [7]. La Haute autorité de santé (HAS) française définit le TCS comme un outil standardisé qui permet d’évaluer le raisonnement clinique de l’étudiant, qui analyse sa capacité à prendre des décisions pertinentes dans des cas complexes, ou en situation d’« incertitude », en les confrontant aux avis d’un panel d’experts (https://www.has-sante.fr). Les TCS s’appuient sur des vignettes cliniques authentiques, qui rendent compte d’une situation professionnelle courante. Cet outil simule les situations quotidiennes, caractérisées par des informations incomplètes ou ambiguës, qu’il va donc falloir compléter ou éclaircir. Les données présentées dans chaque vignette sont insuffisantes, soulèvent une ambiguïté, voire des conflits de valeurs. Des éléments d’information supplémentaires sont alors communiqués à l’étudiant, lui permettant de poser un diagnostic, de proposer de nouvelles investigations ou une thérapeutique adaptée. La tâche consiste donc à envisager l’effet que produirait la découverte d’une nouvelle donnée sur le statut d’une des options pertinentes dans la situation, présentée comme hypothèse au candidat [6,8–10]. Les réponses se font selon une échelle de Likert à une variable et à cinq échelons. Le candidat doit choisir entre les différentes propositions, de « beaucoup moins probable » à « beaucoup plus probable » ou encore de « la moins appropriée » à « la plus appropriée ». L’étudiant est évalué sur base d’un score qui mesure le degré de concordance entre ses réponses et celles d’un panel de référence constitué de médecins expérimentés. La grille de réponse des experts constitue la référence pour déterminer le score des candidats [8].

Le TCS semble a priori particulièrement adapté à l’évaluation de l’enseignement de la génétique médicale et pourrait bien s’intégrer dans la nouvelle formule des ECNi. Cependant, il n’a jamais été évalué dans ce contexte particulier. Nous souhaitons déterminer les arguments docimologiques qui pourraient étayer l’intérêt d’introduire les TCS dans le cadre des ECNi pour évaluer l’attitude des étudiants face aux situations très fréquentes de génétique médicale. Nous avons développé 15 vignettes cliniques, chacune étant suivie de trois propositions d’options ou d’hypothèses possibles, dénommées items. Pour chaque item, une nouvelle information est proposée.

Le TCS a été soumis à des étudiants volontaires de l’université de Lille de cinquième et sixième années de médecine puis à des internes inscrits au diplôme d’études spécialisées (DES) de génétique médicale. Nous avons analysé les caractéristiques intrinsèques du TCS et sa capacité à discriminer les étudiants en fonction de leur niveau d’étude, et recherché une éventuelle corrélation entre les performances au TCS et le rang de classement aux ECNi. Nous avons également comparé le score obtenu au TCS et à une épreuve type des ECNi composée de trois DP et 12 QI.

Méthodes

Préparation des questions

Les vignettes du TCS ont été rédigées selon les recommandations de Charlin et al. [9]. Chaque vignette présente un scénario clinique court, correspondant à des situations fréquentes ou de gravité comme : la déficience intellectuelle, le dépistage prénatal de la trisomie 21 ou encore le diagnostic pré-symptomatique en oncogénétique. À partir des vignettes, peuvent être formulées plusieurs hypothèses diagnostiques ou conduites à tenir. Quinze vignettes comprenant chacune trois items ont été réalisées par deux maîtres de conférence des universités – praticiens hospitaliers du département de génétique de l’Université de Lille. La version finale du TCS, après optimisation, c’est-à-dire retrait des items ayant une corrélation item-total faible (inférieure à 0,15 ou négative), comporte 15 vignettes cliniques et 34 items. Les enseignants ont ciblé les items des ECNi relatifs à la génétique médicale du programme national des ECNi (Tab. I).

Choix du panel d’expert et administration du test de concordance de script

Le panel d’experts est composé de praticiens hospitaliers ou hospitalo-universitaires des équipes médicales exerçant dans les services de génétique clinique et laboratoire de génétique (biologie moléculaire et cytogénétique) du Centre hospitalier universitaire (CHU) de Lille, du Groupe hospitalier de l’Institut catholique de Lille, du CHU de Rouen, du CHU de Caen, du Centre hospitalier d’Alençon et du CHU d’Amiens. Les 27 experts sollicités ont tous au moins cinq ans d’expérience de consultation de génétique médicale ou de laboratoire. Les experts ont été contactés par courrier électronique. Le message comportait une explication du TCS ainsi que le document de la HAS relatif au TCS. Le message contenait aussi un lien hypertexte, renvoyant vers un site internet hébergeant le TCS. L’anonymat de la réponse était garanti, seule la mention « expert » était recueillie.

Le site internet hébergeant le TCS a été construit « à façon » à partir de la plateforme wix.com (https://fr.wix.com/). Une introduction était proposée, réexpliquant les principes du TCS et un exemple issu du document de la HAS était repris. L’expert répondait à chaque vignette de façon indépendante et il ne pouvait pas revenir en arrière. L’expert avait le choix du moment de la connexion, il n’y avait de pas limite de temps, mais le TCS devait être rempli en une seule fois.

Administration du test de concordance de script aux populations étudiées

L’étude était en conformité vis-à-vis du règlement de notre université concernant les « conférences d’internat » et les examens. Le TCS a été proposé aux étudiants en médecine de cinquième et sixième années de médecine de l’Université de Lille, et aux internes inscrits au DES de génétique médicale de mai à juin 2018 et de mai à juin 2019. Il a été administré aux étudiants en médecine via le système inter-universitaire dématérialisé d’évaluation en santé (SIDES – http://side-sante.org/), qui est la plate-forme informatique partagée par toutes les facultés de médecine françaises, permettant à chacune d’elles, en complète autonomie, la réalisation de leurs examens sur tablettes numériques. Un courrier électronique a été envoyé à tous les étudiants les informant de l’ouverture du TCS et les invitant à y participer. Le message électronique leur expliquait le principe des TCS et leur fournissait le document de la HAS relatif au TCS. Dès l’ouverture, les étudiants pouvaient depuis leur ordinateur personnel répondre au TCS. Aucune contrainte relative au moment de la connexion ou à la durée de l’épreuve n’était donnée. Les étudiants répondaient aux TCS sur la base du volontariat. Le TCS a été administré aux internes de génétique dans les mêmes conditions que pour les experts.

Administration des dossiers progressifs et des questions isolées

Les DP et les QI ont été administrés aux étudiants de sixième année au cours de séances d’entraînement aux ECNi appelées « conférences d’internat », via la plateforme SIDES aux mois d’avril 2018 et avril 2019. Les étudiants répondaient à trois DP et 12 QI, conformément aux exigences et dans les conditions des ECNi.

Analyse des données

La collecte des données a inclus la compilation des choix de réponses aux TCS et les résultats aux autres outils d’évaluation, c’est-à-dire les réponses aux DP et QI, pour les étudiants de sixième année. Des analyses descriptives ont été réalisées pour toutes les données recueillies. Nous avons utilisé le calculateur TCS, proposé par l’Université de Montréal (https://www.cpass.umontreal.ca/recherche/groupe-de-recherche-cpass/axes-de-recherches/concordance/tcs/corriger_tcs/). La cohérence interne du TCS a été évaluée par le coefficient alpha de Cronbach. Les scores des étudiants ont été exprimés en moyenne ± écart type, le score maximal étant de 20 points. La normalité de la distribution des scores a été vérifiée à l’aide du test de Kolmogorov-Smirnoff. Les scores moyens des trois groupes ont été comparés par un test t de Student. Nous avons ensuite calculé les coefficients de corrélation de Pearson entre les scores obtenus respectivement aux TCS et DP, TCS et QI, ainsi qu’entre le score obtenu au TCS et le rang de classement aux ECNi.

Résultats

Nous avons obtenu les réponses de 18 experts. Le TCS a été effectivement administré à 105 étudiants (56 étudiants de cinquième année et 49 étudiants de sixième année) et 24 internes de génétique.

Administration du test de concordance de script

Le TCS a été administré deux années consécutives. Selon les données, le temps moyen pour répondre à la version préliminaire de 15 vignettes et 45 items est de 20 minutes.

Fidélité

Le coefficient alpha de Cronbach du TCS avant optimisation est de 0,60. Sur les 45 items, quatre items ont une corrélation item-total inférieure à 0,05, et sept items inférieure à 0,15. L’exclusion de ces 11 items permet d’obtenir un coefficient alpha de Cronbach de 0,67. Après optimisation, la corrélation item-total moyenne est de 0,30 ± 0.08.

Validité de construit discriminante

Les scores moyens ramenés sur une échelle de 20 points, obtenus par le groupe des étudiants de cinquième année, sont de 10,05 ± 1,07 ; ceux des étudiants de sixième année sont de 11,67 ± 0,82 et ceux des internes de génétique sont de 13,55 ± 0,95. Il existe une différence statistiquement significative entre les deux groupes d’étudiants en médecine (p < 0,0005) et entre le groupe des étudiants de cinquième année et les internes de génétique (P < 0,0005). Il existe également une différence statistique entre le groupe des étudiants de sixième année et les internes de génétique (p < 0,00005) (Fig. 1). Nous avons pu obtenir le rang de classement de 72 étudiants aux ECNi 2018 et 2019. Le TCS ayant été administré sur deux années consécutives, les rangs des étudiants ayant passé le TCS en cinquième année en 2018 étaient disponibles en 2019. Il existait une corrélation significative entre le score obtenu au TCS et le rang de classement aux ECNi (ρ = −0,37, p = 0,005).

Fig. 1 Comparaison des scores obtenus au test de concordance de script (TCS) optimisé chez les étudiants en médecine de cinquième, sixième années et chez les internes de génétique médicale. Le TCS optimisé peut discriminer les individus en fonction de leur niveau. Les internes de génétique et les étudiants de sixième année obtiennent, de façon significative, de meilleurs scores que les étudiants de cinquième année. ****p < 0,0005.

Corrélation des scores aux tests de concordance de scripts, dossiers progressifs et questions isolées

À l’issue des deux sessions, nous avons obtenu les scores de 58 étudiants de sixième année pour les trois DP et 12 QI. Le score moyen au TCS pour ces étudiants est de 11,02 ± 2,12, celui aux trois DP est de 9,27 ± 1,88 et aux QI de 10,20 ± 1,84. Les scores obtenus au TCS et aux DP avaient une corrélation positive (ρ = 0,26 P < 0,05), alors qu’il n’y avait pas de corrélation entre les scores obtenus au TCS et au QI (ρ = 0,00 p = 0,63).

Discussion

Nous avons développé un TCS comportant, après optimisation, 15 vignettes cliniques et 34 items reprenant des situations fréquemment rencontrées en génétique médicale. Nous avons obtenu les réponses d’un panel de 18 experts [11]. La cohérence interne du test s’appuie sur la consultation d’experts pour sa conception et sur un indice alpha de Cronbach satisfaisant, calculé à 0,67. Cet indice est relativement faible, probablement à cause du nombre faible d’items proposés. Cependant, la valeur moyenne de la corrélation item-total est de 0,30 ± 0.08, ce qui semble indiquer une bonne homogénéité des items de l’échelle [12,13].

Le TCS optimisé a permis de discriminer les individus en fonction de leur niveau. Il existe une différence significative entre les scores obtenus par les étudiants de cinquième et sixième années (P < 0,0005) et entre les scores obtenus par les étudiants de sixième année et les internes de génétique (p < 0,00005) (Fig. 1). Enfin le score obtenu au TCS est corrélé au rang de classement aux ECNi pour 72 étudiants. Ceci confirme la capacité du TCS à discriminer les étudiants de bon niveau, les étudiants les mieux classés aux ECNi étant les plus performants aux TCS. Par la suite, nous avons comparé les scores obtenus au TCS à une épreuve composée de trois DP et 12 QI, de type ECNi. Il existait une corrélation positive entre les scores obtenus aux trois DP (ρ = 0,26 P < 0,05), mais aucune corrélation n’a été retrouvée entre les scores obtenus au TCS et aux QI (ρ = 0,00 P = 0,63). Une précédente étude dans notre université avait déjà montré une absence de corrélation entre les résultats obtenus au TCS et à une série de questions à réponses courtes [14].

Les DP, contrairement aux QI, permettent une bonne évaluation du raisonnement clinique, même s’ils mesurent des dimensions du raisonnement différentes. Le TCS évalue la gestion de l’incertitude alors que le DP évalue la bonne utilisation des concepts de médecine fondée sur les preuves dans un contexte précis. Les résultats aux deux types d’épreuves vont dans le même sens : plus les étudiants sont performants aux TCS plus ils le sont aux DP. Ces résultats suggèrent bien que le TCS, contrairement aux QI et comme les DP, n’évalue pas uniquement les connaissances déclaratives de l’étudiant mais principalement son raisonnement clinique dans le contexte d’incertitude, en s’appuyant sur son expérience.

Conclusion

Les résultats de notre étude pilote sont très encourageant. Ce travail démontre la faisabilité d’un TCS de génétique médicale, discriminant le niveau des étudiants et corrélé in fine au rang de classement des étudiants à l’ECNi. Le TCS semble donc un bon outil d’évaluation dans notre discipline et pourrait s’intégrer dans les futures ECNi.

Contributions

Jamal Ghoumid, Florence Petit et Thomas Smol ont participé à la conception du devis de recherche, à l’analyse des résultats et à l’écriture de l’article. Jérôme Sigé a conçu et administré le site internet hébergeant le test. Simon Boussion, Perrine Brunelle, Sabrina Guyart et Alexandre Louvet ont participé à la collecte des réponses des étudiants de cinquième et sixième années. Dominique Lacroix, Didier Gosset, Sylvie Manouvrier ont révisé le manuscrit. Louis Sibert a contribué à l’analyse des résultats.

Approbation éthique

Non sollicitée car sans objet

Liens d’intérêts

Aucun auteur ne déclare de conflit d’intérêts en lien avec le contenu de cet article.

Remerciements

Nous remercions l’ensemble des experts sollicités pour cette étude : CHU de Lille : Odile Boute, Anne Coeslier-Dieux, Catherine Vincent-Delorme, Alexandre Moerman, Sophie Lejeune, Sonia Bouquillon, Elise Boudry-Labis – Groupe hospitalier de l’Institut catholique de Lille : Bruno Delobel, Bénédicte Duban-Bedu – CHU d’Amiens : Michèle Mathieu, Gilles Morin, Bénédicte Demeer – CHU de Rouen : Alice Goldenberg, Pascale Saugier-Veber, Anne-Marie Guerrot, Anne-Claire Brehun, Gaël Nicolas – CHU de Caen : Marion Gérard, Cindy Colson – CH d’Alençon : Aurélia Jaquette. Nous remercions également les internes du DES de génétique médicale et les étudiants de médecine de l’Université de Lille d’avoir pris le temps de participer à cette étude.

Références

Liste des tableaux

Liste des figures

Fig. 1 Comparaison des scores obtenus au test de concordance de script (TCS) optimisé chez les étudiants en médecine de cinquième, sixième années et chez les internes de génétique médicale. Le TCS optimisé peut discriminer les individus en fonction de leur niveau. Les internes de génétique et les étudiants de sixième année obtiennent, de façon significative, de meilleurs scores que les étudiants de cinquième année. ****p < 0,0005.

Dans le texte