© SIFEM, 2023

Introduction

Contexte et problématique

Organisation des études médicales en France

En France, les études médicales sont divisées en trois cycles successifs de formation. Les deux premiers cycles constituent un tronc commun d’une durée de six ans, à l’issue duquel les étudiants passent un concours national. En fonction de leur rang de classement, ils choisissent leur ville et leur filière de formation spécialisée. Ils entament leur troisième cycle universitaire et deviennent internes en médecine.

Depuis 2002, les facultés de médecine françaises ont choisi de faire évoluer la formation spécialisée en passant d’un paradigme d’enseignement à un paradigme d’apprentissage [1,2]. Le troisième cycle n’est plus basé sur une transmission de savoirs mais plutôt sur l’acquisition de compétences en situation authentique [3]. Il vise à développer le savoir-agir des internes pour leur permettre de mobiliser, combiner et moduler efficacement leurs ressources (internes et externes) et les utiliser au mieux en situation réelle [4].

Le parcours de formation spécialisée en médecine générale en France dure trois ans et comporte six stages de six mois. Durant ces trois années, les internes effectuent plusieurs stages en cabinet de médecine générale sous la supervision d’un maître de stage des universités (MSU). À l’Université de Toulouse, le parcours de formation des internes de médecine générale comprend : (1) un enseignement théorique reposant sur des mises en situations simulées ; (2) un enseignement pratique (six stages de six mois dont quatre stages en cabinet de médecine générale), permettant des mises en situations réelles ; (3) une évaluation formative (carnet de stage et travaux d’écriture clinique mis sur un portfolio), permettant de renforcer l’autonomie de l’interne dans sa capacité à acquérir des ressources, à les mobiliser-combiner-moduler, et à réfléchir sur sa pratique.

Un objectif : l’évaluation des objectifs intermédiaires

À l’Université de Toulouse, des objectifs intermédiaires de développement des compétences ont été rédigés pour chacune des trois années pour structurer le parcours de formation des internes en médecine générale [5] (voir tableau I). Ceux-ci décrivent une démarche médicale en soins premiers et un processus de résolution des problématiques présentes dans les différentes situations cliniques rencontrées en médecine générale. Ces objectifs ont permis, dans un premier temps, de répartir les séquences d’enseignement théorique et les stages. Actuellement, l’évaluation des compétences des internes repose sur l’évaluation des stages et des traces d’apprentissages du portfolio (carnet de stage et travaux d’écriture clinique) par les MSU et les tuteurs. Il n’y a pas d’évaluation spécifique de l’acquisition des objectifs intermédiaires. Un tel outil d’évaluation permettrait une mesure de la démarche en soins premiers (processus de résolution) qui s’appliquerait à l’ensemble des situations rencontrées. Ce nouvel outil permettrait une inférence des compétences [6]. Il serait complémentaire aux autres outils d’évaluation (grilles d’évaluation des stages, carnet de stage, travaux d’écriture clinique) et cet ensemble permettrait d’aboutir à une certification des compétences. Cette certification est un objectif commun de l’ensemble des formations spécialisées françaises [3].

Objectifs

Ainsi, en lien avec la problématique développée précédemment, se trouve posée la question générale de recherche visant à savoir comment évaluer l’acquisition des objectifs intermédiaires du parcours de développement des compétences au cours de la formation spécialisée en médecine générale. L’objectif de ce travail était d’élaborer et de tester un outil d’évaluation de la progression des apprentissages en lien avec les compétences des internes durant le troisième cycle. Pour ce faire, une étude préalable de la littérature scientifique et de la littérature « grise » disponibles sur ce sujet a été effectuée. Dans un second temps, un outil d’évaluation de ces objectifs intermédiaires a été élaboré par un groupe de travail de cliniciens-enseignants-chercheurs, puis testé sur un panel de MSU et d’internes de la région de Toulouse.

Méthodes

Partie A − Revue narrative de la littérature

Une revue narrative de la littérature scientifique a été réalisée entre novembre 2018 et mars 2019. Elle a été actualisée le 30 novembre 2020. L’objectif était de connaître les stratégies d’évaluation adoptées par les facultés de médecine et de chirurgie en France, ainsi que celles utilisées par d’autres départements de médecine générale dans les facultés francophones (France, Québec, Suisse romande, Belgique).

Les critères d’inclusion étaient que les articles soient rédigés en français ou en anglais, publiés entre le 1^er janvier 2000 et le 30 novembre 2020, portent sur les modes d’évaluation des compétences des internes (ou résidents) utilisés par les facultés de médecine en France, au Québec, en Suisse romande et en Belgique. Les critères d’exclusion concernaient les articles rédigés dans une autre langue que le français ou l’anglais, n’ayant pas de lien avec le troisième cycle des études médicales, la pédagogie ou l’évaluation des compétences.

Les bases de données bibliographiques interrogées étaient PubMed, EM Consult, Cismef et SUDOC. Les sommaires des revues suivantes ont été consultés : BMC Medical Education, Medical Education, Pédagogie Médicale, Exercer et Family Medicine.

La littérature grise disponible sur les sites de l’ensemble des facultés de médecine générale de France, ainsi que sur ceux des facultés de médecine générale de Suisse romande, de Belgique et du Québec a par ailleurs été consultée. Les mots clés utilisés, ainsi que les équations de recherche sont disponibles en annexe 1.

Les articles ont été sélectionnés après lecture du titre et du résumé, puis les doublons ont été exclus. Une sélection a été faite après lecture complète des articles. Lors des recherches effectuées directement sur les sites des facultés, l’ensemble des sous-sections des sites a été consulté afin de ne pas omettre de document ayant un lien avec cette recherche. Tout ce processus a été réalisé par un seul chercheur (PMu).

Partie B − Création et test d’un outil d’évaluation des objectifs intermédiaires

Élaboration de l’outil et des questionnaires de satisfaction

L’outil d’évaluation des objectifs intermédiaires a été élaboré lors de trois réunions ayant eu lieu au département de médecine générale de Toulouse entre janvier et mai 2019 sous la direction d’un groupe de travail de cliniciens-enseignants-chercheurs (PMe, MERB, AS, EE). Chaque réunion avait un objectif précis et devait remplir un cahier des charges défini en amont. La première réunion a permis de présenter au groupe les résultats de la revue narrative et d’analyser certaines grilles d’évaluation utilisées par d’autres facultés de médecine. La seconde réunion a permis de définir la forme et les éléments clés de l’outil. L’outil a ensuite été construit ainsi que les deux questionnaires de satisfaction (PMu, EE). Un questionnaire était destiné aux internes, un autre aux MSU qui allaient participer à la phase test. La dernière réunion a permis de procéder aux derniers ajustements. Nous avons obtenu la validation du projet par le groupe avant réalisation de la phase test.

Population de l’étude

La population cible pour la réalisation de la phase test était composée des MSU rattachés au département de médecine générale de Toulouse ainsi que de leurs internes accueillis en stage. Il n’y avait pas de critère d’exclusion. Nous souhaitions avoir un échantillon représentatif de l’ensemble de la population de MSU et d’internes de la région, avec une sélection de profils divers : des MSU ayant des lieux d’exercice variés, participant ou non aux enseignements facultaires, accueillant un nombre variable d’internes en stage et des internes de niveaux différents. Le recrutement des MSU a été fait par un des chercheurs (EE) et par les référents locaux de la région. Ces derniers avaient pour consigne de sélectionner deux ou trois médecins de leur bassin de formation, présentant les caractéristiques diverses recherchées.

Diffusion de l’outil et des questionnaires de satisfaction

La phase test a été réalisée durant le semestre de mai à octobre 2019. L’outil d’évaluation devait être complété à deux reprises, au deuxième et au sixième mois de stage. Il a été envoyé par courriel aux MSU sélectionnés en juin et octobre 2019. Il devait être complété en présence de l’interne afin de discuter ensemble des différents items. Lors de chacune des phases de remplissage, plusieurs relances ont été effectuées par courriel, puis les participants n’ayant pas encore répondu ont été contactés à deux reprises par téléphone. Les questionnaires ont été envoyés par courriel aux MSU au mois d’octobre 2019, en même temps que la grille pour la seconde évaluation.

Analyse

L’analyse statistique descriptive des résultats a été faite grâce au tableur Microsoft Excel pour répondre aux hypothèses formulées, en précisant pour chaque variable qualitative l’effectif et le pourcentage de distribution. La comparaison des variables qualitatives d’intérêt selon les caractéristiques d’intérêt de la population a été réalisée à l’aide de l’outil numérique en ligne BiostaTGV [7], par le test du Chi² pour les effectifs supérieurs à 5 ou par le test exact de Fischer pour les effectifs inférieurs à 5.

Aspects éthiques

Les données recueillies ont été anonymisées. Les participants pouvaient refuser de participer à l’étude et pouvaient se retirer à tout moment sans justification nécessaire.

Résultats

Partie A − Résultats de la revue narrative

Nous avons identifié 63 articles et méthodes d’évaluation qui ont pu être inclus dans l’étude (figure 1). Les résultats concernant les sources retenues pour la revue narrative sont résumés dans l’annexe 1.

L’évaluation des compétences est un principe directeur pédagogique partagé par l’ensemble des facultés. De nombreux départements de médecine générale français utilisent la « marguerite des compétences » proposée par le Collège national des généralistes enseignants (CNGE). Elle rassemble six compétences génériques transversales qui couvrent l’ensemble du champ d’exercice du médecin généraliste [3] : « relation, communication, approche centrée patient », « premier recours, urgences », « approche globale, complexité », « éducation, prévention, dépistage », « continuité, suivi, coordination des soins » et « professionnalisme ». Les internes passent par des niveaux successifs d’apprentissage pour chacune de ces six compétences [8] : novice, intermédiaire et compétent. Chaque niveau est illustré par une série de descripteurs. En fin de première année, le niveau intermédiaire est attendu pour les trois premières compétences et le niveau novice pour les trois dernières. En fin de cursus, le niveau compétent est attendu pour l’ensemble des six compétences.

Dans le but d’harmoniser la compréhension et l’évaluation des niveaux de compétences, le CNGE a précisé en 2019 les activités permettant l’évaluation des descripteurs de niveau (portfolio, supervision directe et indirecte, groupe d’échange de pratiques, ou autre modalité hors stage) et leurs modalités d’évaluation [9]. Deux nouveaux outils ont pu être proposés pour l’évaluation des internes de première année : une grille d’évaluation en stage et une grille d’évaluation du portfolio regroupant les travaux d’écriture clinique. Ces outils permettent d’évaluer de manière croisée le niveau de l’étudiant de première année. Ils ne visent pas à mesurer spécifiquement le processus de résolution en soins premiers.

Certaines facultés françaises ont établi leurs propres grilles d’évaluation, centrées sur les niveaux de compétences. À titre d’exemple, à l’Université de Nantes, la grille d’évaluation de l’interne en stage est centrée autour des six compétences génériques [10]. Plusieurs évaluations sont à réaliser durant le semestre. Le même support d’évaluation est utilisé durant les trois années de formation et permet donc de suivre la progression de l’étudiant.

Le département de médecine générale de l’Université de Tours propose une grille d’observation de l’interne en stage ambulatoire de première année [11]. Elle détaille le déroulement d’une consultation point par point et est organisée autour des catégories suivantes : l’élaboration d’un diagnostic global en tenant compte de la complexité, l’élaboration d’un projet négocié avec décision partagée, la mise en œuvre d’un projet thérapeutique, la prévention, l’inscription de son action dans la continuité et la pluridisciplinarité. Un code couleur permet d’identifier à quelle compétence de la marguerite des compétences chaque item de la grille est rattaché. Cette grille est à la disposition du maître de stage durant le semestre. Elle est fondée sur le principe selon lequel, en observant de nombreuses consultations, il est possible de déduire où en est l’interne dans le développement de ses compétences.

La recherche documentaire n’a pas permis d’identifier de grille d’évaluation permettant une mesure spécifique de la progression de l’interne en stage dans les autres spécialités médicales et chirurgicales en France. La répétition d’évaluations ponctuelles a été étudiée comme modèle de mesure de la progression. C’est notamment le cas des tests de concordance de script (TCS) qui ont été testés en 2008 sur des internes en réanimation médicale en début et en fin de stage [12]. La progression des étudiants a été confirmée par l’amélioration des résultats au test.

En Suisse, l’ensemble des spécialités médicales et chirurgicales utilise le Mini-Clinical Evaluation Exercise (Mini-CEX) et la Direct Observation of Procedural Skills (DOPS) [13,14]. Il s’agit d’évaluations en milieu de travail où le formateur observe le médecin assistant et lui propose ensuite une rétroaction structurée [15]. Le Mini-CEX évalue la communication avec le patient, la qualité de l’anamnèse et de l’information délivrée, ainsi que l’examen clinique. La DOPS met l’accent sur les interventions manuelles. Au moins quatre évaluations doivent être effectuées chaque année et constituent un support de discussion lors des entretiens annuels d’évaluation. La répétition de ces examens vise à donner une vision globale des compétences et apprécier la progression durant le stage.

Au Canada, l’évaluation en milieu de travail joue également un rôle central pour la formation des résidents [16,17]. Ces derniers doivent valider différentes activités professionnelles confiables (entrustable professional activities [EPA]) qui correspondent aux tâches fondamentales attendues dans chaque discipline. Nous avons pu avoir accès aux grilles d’évaluation nationales [18], après avoir fait une demande auprès du Collège royal des médecins et chirurgiens du Canada. Ces évaluations sont transmises en fin d’année à un comité de compétences qui décide de la validation ou non de l’année universitaire. L’Université Laval a développé une grille d’évaluation globale du résident en médecine de famille [19]. Les sept rôles définis dans le cadre de référence CanMEDS (leader/gestionnaire, collaborateur, promoteur de la santé, expert en médecine familiale, érudit, communicateur, professionnel) sont détaillés selon trois niveaux : « peu autonome », « partiellement autonome » et « autonome ». Un graphique permet de situer le moment à partir duquel le niveau « peu autonome » représente un retard de développement. Cette grille est utilisable tout au long de la formation spécialisée et permet d’aborder l’ensemble des champs de la pratique en médecine de famille.

Nous n’avons pas identifié de grille d’évaluation permettant une mesure de la progression de l’interne en Belgique.

Figure 1 Diagramme de flux de la recherche documentaire effectuée dans le cadre de la revue narrative.

Partie B − Création et test d’un outil d’évaluation des objectifs intermédiaires

Caractéristiques de l’outil

Trois grilles d’évaluation ont été créées, pour chacune des trois années de formation spécialisée en médecine générale (voir annexe 2). Il a été décidé qu’une situation clinique issue de la pratique quotidienne serait pertinente pour illustrer le sens des objectifs intermédiaires. Il était important que les objectifs soient interprétés de manière uniforme par l’ensemble des MSU. L’évaluation devait porter sur les compétences globales de l’interne au cours du semestre et non sur une observation ponctuelle des aptitudes en consultation. Nous avons opté pour la réalisation de deux évaluations, au deuxième et au sixième mois de stage, afin de mesurer la progression de l’interne au cours du semestre. Sur les grilles de troisième année, nous avons ajouté la question : « D’après vous l’interne est-il devenu un professionnel compétent ? ».

Phase test : exploitation de l’outil d’évaluation par les maîtres de stage

Nous avons contacté au total 49 maîtres de stage en juin et octobre 2019 : 11 (22 %) exerçaient en zone rurale, 19 (39 %) en zone semi-rurale, 19 (39 %) en zone rurale. Douze (24 %) avaient un poste universitaire à la faculté de santé de l’Université de Toulouse et 17 (35 %) étaient chargés d’enseignement.

Nous avons obtenu des réponses de 39 (80 %) et 41 (85 %) MSU aux deux temps de l’évaluation. Cela a permis l’évaluation de 56 et 54 internes, car certains médecins ont évalué plusieurs de leurs internes (cela concernait 14 [36 %] et 13 [32 %] médecins). Durant le semestre, nous avons observé une progression de 59 % des internes de première année, 81 % des internes de deuxième année et 12 % des internes de troisième année évalués. Cent pour cent des internes de première et deuxième années et 74 % des internes de troisième année ont atteint les objectifs intermédiaires fixés à l’issue du sixième mois de stage. Un seul interne de troisième année a été jugé comme n’étant pas devenu un professionnel compétent à l’issue de son cursus.

Douze pour cent des internes de première année ont régressé pour la réalisation d’un objectif entre les deux temps de documentation : pour la seconde évaluation, leurs MSU ont préféré compléter une grille vierge, et non la grille précédemment remplie en début de semestre.

La grille de troisième année a été modifiée dans 11 % des cas au deuxième mois de stage et 16 % des cas au sixième mois de stage. En troisième année, les réponses proposées étaient « oui » et « non » pour chaque objectif intermédiaire. Il n’y avait pas de mention « oui avec aide » ou « oui sans aide » contrairement aux grilles de première et deuxième années. Certains MSU ont ajouté la remarque « oui avec aide » ou placé des croix entre les cases « oui » et « non ». La question « D’après-vous l’interne est-il devenu un professionnel compétent ? » a été oubliée dans 37 % des cas lors de la première évaluation et 11 % des cas lors de la seconde.

Phase test : évaluation de l’outil par les participants

Contenu du questionnaire

Les premières questions permettaient de recueillir les caractéristiques démographiques des internes et MSU. Les questions suivantes étaient scindées en trois parties : (1) les objectifs intermédiaires proposés : leur connaissance par les participants et leur pertinence ; (2) la pertinence du nouvel outil d’évaluation : sa clarté, son intérêt pour la mesure de la progression, son intérêt pour certifier l’interne en tant que professionnel compétent ; (3) l’utilisation de l’outil en pratique : la pertinence de la situation clinique pour illustrer les objectifs intermédiaires, la durée de remplissage de l’outil, l’intérêt d’évaluations répétées durant le semestre. Ces questions visaient à recueillir le ressenti des participants sur le nouvel outil d’évaluation. Elles avaient pour but secondaire d’identifier les raisons d’un éventuel retour négatif pour pouvoir y remédier. Les questionnaires de satisfaction ont été complétés par 37 (76 %) MSU et 29 (54 %) internes (voir tableau II).

Pour chaque réponse, l’effectif est indiqué suivi du pourcentage entre parenthèses. Pour les justifications de leurs réponses, les participants avaient le choix entre une ou plusieurs réponses.

Trente-deux (87 %) MSU et 18 (62 %) internes trouvaient les objectifs intermédiaires pertinents ; 31 (84 %) MSU et 15 (52 %) internes considéraient que l’outil constituait un outil de mesure de la progression de l’interne ; 26 (70 %) MSU et 19 (66 %) internes trouvaient l’outil clair et compréhensible.

Pour répondre aux hypothèses formulées au début de l’étude, les réponses aux questions ont été analysées selon les caractéristiques des participants. Concernant les MSU, il n’a pas été retrouvé de lien statistiquement significatif entre la réponse aux questions « Pensez-vous que ces objectifs sont pertinents » et « D’après-vous la grille est-elle un outil de mesure de la progression ? » et l’âge des MSU, le nombre d’internes accueillis en stage, et la participation aux enseignements facultaires (p > 0,05).

Concernant les internes, seuls 45 % d’entre eux avaient connaissance des objectifs intermédiaires proposés pour la formation en médecine générale ; 92 % des internes déclarant connaître les objectifs les ont trouvés pertinents. À l’inverse, 91 % des internes qui ne les ont pas trouvés pertinents ne les connaissaient pas auparavant (p = 0,0057 ; OR = 17,84 ; IC à 95 % [1,82 ; 932,30]) ; 73 % des internes de première année, 38 % des internes de deuxième année et 70 % des internes de troisième année ont trouvé que les objectifs intermédiaires étaient pertinents. Il n’a pas été retrouvé de lien statistiquement significatif entre la réponse aux questions « Pensez-vous que ces objectifs sont pertinents » et « D’après-vous la grille est-elle un outil de mesure de votre progression ? » et l’âge des internes ou leur semestre d’études (p > 0,05).

Discussion

Principaux résultats

Nous avons identifié plusieurs outils d’évaluation complets capables d’apporter une vision globale des compétences de l’interne. Il s’agissait notamment de la grille d’évaluation proposée par le département de médecine générale de l’Université de Nantes [10], ou celle utilisée par l’Université Laval au Canada [19]. Le même support est utilisable chaque semestre et permet de suivre la progression de l’étudiant. Une grille unique permet d’aborder l’ensemble des compétences à acquérir durant le parcours de formation en médecine générale. En raison de leur exhaustivité, ces outils comportent cependant un grand nombre d’items ; il pourrait être intéressant d’évaluer leur opérationnalité et leur acceptabilité sur le terrain. Toutefois, la revue de la littérature n’avait pas retrouvé d’outil évaluant spécifiquement le processus de résolution en soins premiers.

L’outil d’observation de l’interne en consultation proposé par le département de médecine générale de l’Université de Tours [11] pour les internes de première année présente des critères similaires aux objectifs intermédiaires utilisés à l’Université de Toulouse. La première catégorie propose d’évaluer la capacité de l’interne à comprendre la complexité d’une situation clinique et d’en poser un diagnostic global. Les dernières catégories semblent plutôt s’inscrire dans la mise en place d’un projet de santé, avec une démarche de prévention et la réalisation d’actions pluridisciplinaires. La particularité de cette grille est d’aborder le projet de santé dès la première année. Cette grille permet de suivre la progression de l’interne en consultation, en proposant de répéter l’évaluation aussi fréquemment que nécessaire durant le semestre.

Hormis la grille d’observation proposée par la faculté de l’Université de Tours [11], il semblerait qu’aucune autre n’utilisait des critères d’évaluation similaires aux objectifs intermédiaires. Très peu d’échelles évaluaient notamment la notion d’incertitude. L’incertitude influence le parcours de formation des internes [20] qui y sont exposés dès le tout premier stage. Une absence de compréhension peut les mettre en difficulté et peut aboutir à un épuisement professionnel [21]. L’apprentissage de la gestion de l’incertitude paraît indispensable dans un parcours de formation spécialisée en médecine générale [22].

Réflexions autour de l’outil élaboré

L’outil proposé évaluait spécifiquement le processus de résolution en soins premiers. Il était concis et accepté par les MSU et les internes. Il permettait d’évaluer la progression des internes dans leur démarche médicale en soins premiers et ainsi leur processus de résolution des problématiques rencontrées dans les situations cliniques de médecine générale. Cet outil permettrait avec ceux déjà existants dans le portfolio, non seulement d’évaluer mais aussi, comme le décrit Scallon, d’inférer les compétences chez les internes en médecine générale [6].

La situation clinique proposée avait uniquement valeur d’exemple afin d’illustrer les objectifs intermédiaires que nous souhaitions évaluer. Elle ne posait pas de problème sur le plan théorique à un étudiant de troisième cycle (prise en charge d’une infection urinaire chez une femme jeune). Sa complexité résultait de la prise en compte d’éléments bio-psycho-sociaux. En sortie de deuxième cycle, les internes possèdent des savoirs théoriques importants mais peuvent éprouver des difficultés à les mobiliser en situation réelle [3]. Les années de formation spécialisée doivent leur permettre de transférer leurs apprentissages en situation réelle [2], face à un patient et un contexte complexe [23], pour proposer une approche centrée sur le patient selon un modèle global de santé [3].

Nous avons fait le choix de réaliser deux évaluations durant le semestre. La première évaluation se voulait formative et avait pour but de sensibiliser l’interne et le MSU aux objectifs à travailler. La seconde évaluation permettait de faire une synthèse du semestre et de tracer la progression de l’interne. L’intérêt d’évaluations répétées dans le cadre d’un parcours de formation a déjà été démontré [24], l’étudiant devant être exposé à un nombre et une variété suffisante de situations d’évaluation [24,25]. De manière générale, la variabilité des évaluations est diminuée par l’utilisation de critères, de lieux et d’évaluateurs multiples [26]. La réalisation d’évaluations répétées est répandue dans de nombreuses facultés de médecine, notamment québécoises, dans le cadre de la compétence par conception [27].

Le retour sur l’évaluation des objectifs intermédiaires n’était pas statistiquement différent suivant les caractéristiques d’intérêt de la population, à la fois pour les MSU et les internes. Pour les internes, il n’existait pas de lien significatif entre le semestre d’étude et la perception de la pertinence des objectifs intermédiaires. Nous pouvons cependant émettre des hypothèses face aux résultats constatés : 73 % des internes de première année et 70 % des internes de troisième année ont trouvé que les objectifs intermédiaires étaient pertinents, contre seulement 38 % des internes de deuxième année. Les internes de première année avaient bénéficié d’une présentation de ces objectifs intermédiaires lors d’un séminaire à la faculté, contrairement aux internes de deuxième et troisième années. Il est possible que cette présentation ait influencé positivement leur regard face à cette nouvelle méthode d’évaluation. Les internes de troisième année étaient en dernier semestre d’internat au moment de l’étude, il est possible qu’ils aient souhaité avoir un retour sur leurs compétences à exercer avant la fin de leurs études et le début de leur activité professionnelle.

Quatre (11 %) MSU et cinq (17 %) internes ont trouvé la durée de remplissage trop longue, malgré notre ambition de faire un outil concis. Cet accueil partagé pourrait être lié au fait que nous n’avons pas suffisamment explicité la plus-value de cet outil face aux méthodes d’évaluation déjà disponibles.

Possibilités d’amélioration

Il serait intéressant d’intégrer la grille d’évaluation au portfolio électronique de l’interne afin de faciliter son remplissage en ligne et éviter les erreurs d’envoi. La question « D’après vous l’interne est-il devenu un professionnel compétent ? » sur les grilles de troisième année doit être rendue plus visible pour ne pas être oubliée lors de l’évaluation.

Il est possible que certains MSU aient éprouvé des difficultés à donner une réponse formelle lors de l’évaluation de leurs internes, ce que suggère l’ajout de commentaires sur les grilles de troisième année. Certains ont ajouté la remarque « oui avec aide » ou placé des croix entre les cases « oui » et « non ». Ils ne semblaient pas toujours en capacité de valider complètement les objectifs intermédiaires proposés. La posture de MSU se caractérise par une tension entre les fonctions d’aide et d’évaluation, ce qui peut être source de dilemme dans les relations avec les étudiants [28]. Les MSU doivent être capables de maintenir une distance (fonction d’évaluation) dans la proximité (fonction d’aide). Ils adoptent au quotidien une posture bienveillante pour accompagner les étudiants dans leurs apprentissages [29]. Certains ont pu être réticents à porter un jugement formel, notamment s’il s’agissait de consigner par écrit une absence d’acquisition de compétences ou de progression en stage. Nous pourrions ajouter une case supplémentaire « oui avec aide » lors du deuxième mois de stage en troisième année. En revanche, les objectifs doivent pouvoir être réalisés sans aide en fin de formation car nous considérons qu’ils constituent un minimum à acquérir avant d’entrer dans la vie professionnelle. D’autres facultés ont précisé le niveau minimum attendu pour les étudiants en fin de formation spécialisée. Par exemple, à l’Université de Montréal, une « autonomie élevée » est attendue pour le dernier stage du programme de résidence en médecine de famille et correspond à une « supervision indirecte distante » pour l’ensemble des APC [30].

Parmi les internes interrogés, 92 % ayant eu une présentation des objectifs intermédiaires durant leur cursus les ont trouvés pertinents. À l’inverse, 91 % qui ne les ont pas trouvés pertinents ne les connaissaient pas auparavant. Lors de la mise en place d’un nouveau modèle d’évaluation il est important de le présenter correctement aux différents acteurs (étudiants et enseignants) et d’en vérifier sa compréhension pour améliorer son acceptabilité [24].

Forces et limites du travail

Les forces de ce travail résidaient en l’élaboration d’un outil pouvant flécher spécifiquement la progression de l’interne dans l’acquisition de la démarche médicale en soins premiers. L’outil a été construit après une revue narrative de la littérature. Il a été élaboré par un groupe d’experts, à la suite de réunions successives répondant à un cahier des charges strict défini en amont. Il se voulait volontairement court et simple d’utilisation, pour être manié le plus aisément possible par les maîtres de stage.

Les limites de ce travail étaient liées au fait que l’évaluation de la grille reposait sur les déclarations des internes et des MSU en réponse à un questionnaire. Il existait peut-être un biais de déclaration. Notamment : (1) il est possible que les MSU, ayant un lien étroit avec la faculté, aient perçu plus aisément l’intérêt d’une évaluation des objectifs intermédiaires pour le suivi de la progression de l’interne. Ce lien avec la faculté pouvait se présenter par une participation aux enseignements et un nombre élevé d’internes accueillis en stage ; (2) il est possible que les internes ayant une connaissance préalable des objectifs intermédiaires aient été plus favorables à leur usage pour fins d’évaluation ; (3) les internes de première année ayant eu une présentation des objectifs intermédiaires lors d’un séminaire à la faculté, il est possible qu’ils aient été plus favorables à leur utilisation que les internes de deuxième et troisième années qui n’en avaient pas eu.

Par ailleurs, l’outil créé pouvait être vu comme abstrait et insuffisamment précis. Contrairement à d’autres outils retrouvés dans la littérature, il comportait un nombre restreint d’items et ne permettait pas d’aborder en détail certains champs de l’exercice en médecine générale.

Enfin, cet outil a été élaboré par un groupe de travail du département de médecine générale de l’Université de Toulouse. Il n’a pas bénéficié d’une validation par une instance nationale. Sa validité mais surtout sa transférabilité demeurent à documenter.

Perspectives

Ce nouvel outil pourrait compléter les outils d’évaluation déjà existants au sein de la faculté de Toulouse. Cet ensemble permettrait aux enseignants de repérer les internes en difficulté pour leur proposer des stratégies de progression ciblées [24]. Il permettrait une inférence des compétences, indispensable pour certifier un professionnel compétent. Son déploiement est prévu pour l’année universitaire 2021/2022.

Conclusion

L’outil d’évaluation des objectifs intermédiaires proposé par le département universitaire de Toulouse était innovant car spécifique de la démarche médicale en soins premiers. Il visait à flécher la progression de l’interne dans son parcours d’apprentissage, dans la perspective d’aboutir au statut de professionnel compétent en fin de formation. Il a été construit par un groupe de travail d’experts de la faculté. Il était simple d’utilisation et a obtenu un avis globalement favorable sur le panel test.

La conférence pour le consensus mondial sur la responsabilité sociale des facultés de médecine d’octobre 2010 a permis de rédiger dix directions stratégiques pour que les facultés soient reconnues comme « socialement responsables » [31]. Ces dernières doivent répondre à des objectifs de pertinence, efficience, équité et qualité de formation. Il est reconnu que les formations et prestations de service proposées ont un impact sur l’état de santé de la société [32]. Pour rester cohérentes, ces stratégies d’éducation doivent être régulièrement révisées. La mise en place d’une certification des compétences au sein des facultés de médecine françaises se place dans la continuité de ces recommandations. Elle garantirait la formation de jeunes professionnels compétents, aptes à remplir leurs missions dans une société en constante évolution. Ses modalités de validation devraient être régulièrement actualisées pour s’adapter au mieux aux besoins de santé de la population.

Contributions

Michel Bismuth, Pierre Mesthé, Stéphane Oustric, Marie-Ève Rougé-Bugat et André Stillmunkès ont eu l’idée originale des objectifs intermédiaires. Pauline Munier, Émile Escourrou et André Stillmunkés ont eu l’idée originale du travail. Pauline Munier, Émile Escourrou, André Stillmunkés, Pierre Mesthé et Marie-Ève Rougé-Bugat ont conçu le protocole de recherche et l’outil d’évaluation. Pauline Munier a effectué le recueil des données. Pauline Munier et Émile Escourrou ont réalisé l’analyse statistique et l’interprétation des résultats. Pauline Munier, Émile Escourrou et André Stillmunkés ont rédigé le manuscrit. L’ensemble des co-auteurs a relu et accepté la version finale du manuscrit.

Subventions

Le travail rapporté dans cet article n’a bénéficié d’aucune subvention.

Liens d’intérêts

Les auteurs déclarent n’avoir aucun conflit d’intérêts avec le contenu de cet article.

Approbation éthique

Non sollicitée. Selon la législation française en vigueur au moment de l’étude, ce travail ne relevait pas des dispositions de la loi Jardé. Il ne s’agissait pas d’un sujet sensible. Il n’y avait pas d’impact sur la prise en charge des patients.

Remerciements

Les auteurs remercient les membres du département universitaire de médecine générale de l’Université de Toulouse pour leur contribution à la création de l’outil d’évaluation, les maîtres de stage des universités et les internes qui ont participé à la phase test d’évaluation de l’outil avant son implémentation à plus large échelle.

Annexe 2 Outil d’évaluation des objectifs intermédiaires.

Aide au remplissage de la grille

Vous trouverez ci-contre une grille d’évaluation ayant pour but de recueillir l’acquisition des objectifs intermédiaires atteints par l’interne de médecine générale. Pour chaque année de formation spécialisée, des objectifs intermédiaires ont été fixés pour permettre de tracer la progression de l’interne dans son parcours professionnalisant. Afin de recueillir l’acquisition de ces objectifs, la grille suivante vous est proposée.

Modalités de remplissage

Cette grille d’évaluation doit être :

• remplie en présence de l’interne ;

• à deux reprises durant le semestre, au cours du deuxième et du sixième mois de stage.

La première évaluation permet de repérer les points à améliorer et de fixer des objectifs de formation. La deuxième évaluation permet de faire une synthèse de la progression durant le semestre.

• Veuillez répondre « Non » si, lors des consultations effectuées durant ce semestre, l’interne n’est pas en mesure de remplir l’objectif. C’est le maître de stage universitaire (MSU) qui effectue la démarche.

• Veuillez répondre « Oui avec aide » si, après orientation par le MSU lors des consultations, l’interne parvient à la démarche attendue.

• Veuillez répondre « Oui sans aide » si, lors des consultations, l’interne est capable d’effectuer seul d’emblée l’ensemble de la démarche attendue.

Une situation clinique vous est présentée afin d’illustrer les différents objectifs intermédiaires de la grille. Il ne s’agit que d’un exemple car cette grille vise à évaluer de façon globale l’attitude de l’interne durant les consultations du semestre.

Références

Liste des tableaux

Liste des figures

	Figure 1 Diagramme de flux de la recherche documentaire effectuée dans le cadre de la revue narrative.
Dans le texte