© SIFEM, 2021

Introduction

Problématique et cadre conceptuel

La réflexivité est considérée par de nombreux auteurs comme étant une composante essentielle du professionnalisme et de l’identité professionnelle [1–9] : « la dimension réflexive est au cœur de toutes les compétences professionnelles, elle est constitutive de leur fonctionnement et de leur développement » [10].

Nguyen et al. [7] proposent une définition synthétique basée sur le référencement, à l’issue d’une revue méthodique de la littérature, des quinze auteurs les plus cités dans les travaux de recherche relatifs à la réflexivité en sciences de l’éducation et en éducation médicale.

Ils distinguent cinq composantes au cœur du processus réflexif. La réflexivité peut alors être définie comme étant « le processus qui consiste à engager (i) le soi dans des (ii) interactions attentives, critiques, exploratoires et itératives avec ses (iii) pensées et ses actions, et leurs (iv) cadres conceptuels sous-jacents, en visant à (v) changer ces différentes composantes et en examinant le changement lui-même » [11].

L’utilisation d’outils comme les portfolios a notamment pour objectif de développer la posture réflexive des étudiants en sciences de la santé [12,13]. Ainsi, selon Naccache et al., le portfolio « encourage [l’apprenant] à planifier ses activités d’apprentissage à partir des tâches professionnelles authentiques auxquelles il est exposé et à s’autoévaluer dans une démarche de pratique critique et réflexive » [12]. Le recours à la production de traces écrites d’apprentissage permettrait, en lui-même, de promouvoir l’activité réflexive du fait du recul qu’elle permet à l’apprenant de prendre par rapport à la situation clinique vécue [6,12]. Il est par ailleurs indispensable que la trace écrite d’apprentissage soit rédigée selon la propre perspective de l’étudiant, telle que la situation a été vécue. En effet, lorsque les étudiants ont la consigne de rédiger un écrit réflexif selon une perspective de médecin senior et non la leur, cela ne stimule pas la démarche réflexive [1].

L’écriture réflexive fait ainsi partie des outils pédagogiques promus pour accompagner les étudiants dans le développement de leurs compétences professionnelles [5,14] et évaluer leurs apprentissages [12].

La réflexivité n’est pas une capacité intuitive ou innée, notamment en début de cursus médical [5–7]. Afin de guider son développement et son évaluation, plusieurs auteurs ont tenté d’élaborer des outils qui diffèrent tant dans leur forme qu’au regard du cadre théorique sur lequel ils s’appuient.

Wald et al. [6] ont élaboré un outil d’hétéro-évaluation en anglais afin de favoriser une évaluation fiable en vue de la rétroaction proposée aux étudiants durant les groupes d’écriture réflexive : la grille REFLECT, pour Reflection Évaluation for Learners’ Enhanced Competencies Tool, que l’on pourrait traduire par « Outil d’évaluation de la réflexivité pour améliorer les compétences des apprenants ». Le cadre conceptuel de développement de cette grille s’appuie sur plusieurs auteurs de référence des théories de la réflexivité : Mann et al. [15], Schön [16], Boud et al. [17], Moon [18] et Mezirow [19,20]. Ces derniers décrivent la réflexivité comme une analyse critique du savoir et de l’expérience, intégrant les émotions et le ressenti, afin d’atteindre un niveau approfondi de compréhension et de donner du sens, selon un processus complexe, qui nécessite une capacité de conceptualisation des bases de la réflexion (« premise reflection ») en vue de transformer et/ou renforcer les apprentissages [6,7,15,16,19]. Le processus intègre une dimension itérative (concept de boucle réflexive) et une dimension verticale hiérarchisant divers niveaux de réflexion [6,7,15,16,19].

D’autres outils ont été développés dans le cadre de l’éducation médicale.

Ainsi, l’outil Reflection-on-Action, a été développé à des fins de recherche pour l’évaluation, également, des traces écrites d’apprentissage ; il est unidimensionnel (une seule entité définie comme étant la capacité réflexive et évaluée en six niveaux) et a été comparé à la grille REFLECT dans l’étude de Miller-Kuhlmann et al. [21]. Au-delà du cadre de l’écriture réflexive, d’autres outils ont également été développés, comme la Groningen Reflection Ability Scale (GRAS) qui est une échelle unidimensionnelle couvrant trois aspects d’intérêt selon le cadre conceptuel d’élaboration [4,22]. Boenink et al. [1] ont pour leur part développé un outil semi-structuré d’hétéro-évaluation de la démarche réflexive des étudiants portant sur des vignettes cliniques. Autre exemple, la grille StARS® d’évaluation de la démarche réflexive des étudiants guidée par un questionnaire de six questions, suite au visionnage de vidéos de rencontres cliniques, considère trois éléments constitutifs de la réflexivité [23].

Il existe également des outils développés en dehors du contexte médical. On peut par exemple citer le travail de thèse de Michaud, portant sur l’évaluation du niveau de réflexivité du portfolio de futurs enseignants, à l’aide d’une grille déterminant un indice réflexif [24,25].

Divers arguments ont appuyé notre choix de travailler à partir de la grille REFLECT. Avant tout, elle a été développée dans un contexte de formation médicale, notamment de futurs médecins généralistes [6], au sein duquel les étudiants doivent rédiger des écrits réflexifs portant sur une situation clinique vécue, authentique. Or, dans notre contexte, à savoir la formation des internes en médecine générale, les traces écrites d’apprentissage attendues dans le portfolio visent également le développement de la réflexivité [26,27]. La rédaction des « récits de situation complexe authentique » (RSCA), selon un modèle proposé par le Collège national des généralistes enseignants et appliqué dans la majorité des départements de médecine générale en France, a pour objectif de favoriser le développement des compétences des étudiants et leur autonomie d’apprentissage par le développement des capacités réflexives [28]. Ces RSCA sont des traces écrites d’apprentissage réflexives généralement longues (10–20 pages). Ils comprennent un récit à la première personne d’une situation vécue en stage par l’étudiant. Une section « analyse » vient ensuite, à distance de la situation, interpréter ce qui est rapporté dans le récit. Deux à trois problématiques contextualisées sont dégagées par l’étudiant. Une section « autoformation » présente ensuite les résultats des recherches de l’étudiant en regard de ces problématiques. Les résultats sont recontextualisés à la situation exemplaire. Une synthèse décrit finalement l’impact de ce travail sur les compétences de l’étudiant.

Les critères d’évaluation utilisés dans la grille REFLECT nous ont semblé particulièrement adaptés aux consignes de rédaction des RSCA et la grille d’appropriation plus aisée par des formateurs en santé que d’autres outils d’évaluation développés en dehors du contexte de l’éducation médicale.

Enfin, la grille REFLECT a été soumise à une démarche de validation et elle présente des caractéristiques intéressantes, notamment en termes de fiabilité [6,14]. Il n’y a, à notre connaissance, aucun outil d’évaluation de la réflexivité au travers des traces écrites d’apprentissage qui soit validé en langue française dans le contexte de l’éducation médicale.

Nous avons par ailleurs choisi d’ancrer notre travail dans la définition et le modèle théorique proposés par Nguyen et al. [7]. En effet, ils intègrent, du fait de la méthode mise en œuvre, les auteurs sur lesquels se sont appuyés Wald et al. [6,7] et, en cela, notre choix ne nous semble pas trahir les choix effectués lors de l’élaboration de la grille REFLECT en anglais. Le caractère synthétique de la définition et du modèle théorique nous semblait plus adapté pour la démarche d’évaluation de la validité conceptuelle de la traduction en français (voir Fig. 1).

Fig. 1 Modèle conceptuel de la réflexivité d’après Nguyen et al. [7] (traduction libre).

Objectif

En lien avec la problématique développée ci-dessus, l’objectif de cette étude était donc de réaliser une traduction et une adaptation culturelle de la grille REFLECT en français et d’en initier la validation.

Méthodes

L’outil : la version anglaise princeps de la grille REFLECT

La grille REFLECT [6] est un outil qualitatif évaluant six critères (propriété ayant la fonction de norme, qui exprime une qualité et qui permet de porter un jugement de valeur et de fonder une décision). L’un des critères est optionnel (respect des consignes). Les critères sont organisés en quatre niveaux selon un gradient de réflexivité allant d’« absence de réflexivité » à « réflexivité » (voir Tab. I). Pour chaque niveau de chaque critère, une définition descriptive est donnée pour aider l’évaluateur à déterminer le niveau dont rend compte la trace écrite d’apprentissage.

Si la trace écrite d’apprentissage relève d’un niveau global « critical reflection », soit le niveau le plus élevé dans la grille en anglais, alors un deuxième axe d’évaluation est proposé. Ce dernier porte sur les conséquences de la réflexivité. Il permet de déterminer si le processus réflexif a conduit à des apprentissages transformateurs (AT) et/ou une confirmation des apprentissages antérieurs (CAA).

Comme cela a déjà été indiqué, l’évaluation du dernier critère (critère 6) est optionnelle : il concerne le respect d’éventuelles consignes thématiques concernant le travail d’écriture (ce qui est le cas dans l’université de développement de la grille REFLECT). S’il n’y a pas de telles consignes, ce critère optionnel n’est pas pris en compte.

L’objectif de la grille REFLECT est de promouvoir le développement de la posture réflexive des étudiants à l’aide d’une évaluation formative et de l’enrichissement du feedback fourni par les superviseurs [6,21], ainsi que par l’auto-évaluation permettant une planification des apprentissages.

Processus de traduction et d’adaptation culturelle

La méthode a été élaborée à partir des recommandations de bonne pratique proposées par Sousa et Rojjanasrirat [29]. Le processus suivi, comportant six étapes, est résumé à l’aide du diagramme de flux ci-dessus (Fig. 2).

Une double traduction vers le français a été effectuée par deux traducteurs bilingues indépendants, dont la langue maternelle est le français mais ayant une double culture française et anglo-saxonne (étape 1). Leurs deux traductions ont ensuite été comparées par une troisième personne bilingue, ayant une expérience en traduction. Les discordances posant problème ont été résolues par consensus entre les traducteurs et les auteurs (RO et ML). Un avis ponctuel a été demandé pour certains termes à des experts en éducation médicale, bilingues (étape 2).

La version française (VF) préliminaire issue de ces deux premières étapes a été soumise à une étape de rétro-traduction, par deux autres traducteurs bilingues indépendants, de langue maternelle anglaise, et ayant également une double culture anglo-saxonne et française (étape 3). Cela permettait de s’assurer de l’absence de perte de sens lors de l’étape de traduction et mettait en lumière les termes ou expressions nécessitant une éventuelle clarification. Les discordances ont été résolues par consensus entre les traducteurs et les auteurs (RO et ML).

Ce cycle de traduction et rétro-traduction a permis d’élaborer une VF pré-finale.

Les tests pilotes (étape 5) ont été effectués en deux sous-étapes (5A et 5B).

Un panel de futurs utilisateurs constitué d’enseignants et d’étudiants de troisième cycle a été recruté pour évaluer la clarté de la VF pré-finale (étape 5A). Tous étaient spécialistes ou en cours de spécialisation en médecine générale, en raison de facilités de recrutement. Par ailleurs, la grille REFLECT avait aussi été développée et validée auprès des résidents en médecine de famille de l’Université de Brown [6].

Il leur était demandé, pour chacun des critères, intitulés des niveaux et descripteurs des niveaux, ainsi que pour la présentation des axes, si la formulation leur paraissait claire, insuffisamment ou pas du tout claire. Lorsqu’un participant répondait que la formulation était « insuffisamment ou pas du tout claire », il était demandé de proposer une modification qui rendrait la formulation plus intelligible. Lorsqu’un intitulé était considéré « insuffisamment ou pas du tout clair » par au moins 20 % des répondants, il était réévalué par RO et ML à l’aide des suggestions faites par l’échantillon.

Cette version pré-finale modifiée a alors été soumise à un panel de six experts concernant la réflexivité (étape 5B), pour évaluation de la clarté, à l’aide du même questionnaire que précédemment. Il leur a également été demandé d’évaluer la validité de contenu en lien avec le cadre théorique de Nguyen et al. [7,11], à l’aide d’une échelle ordinale. Il s’agissait d’une échelle de Lickert en quatre niveaux selon la classification suivante : 1 = tout à fait pertinent, 2 = pertinent mais nécessite des ajustements, 3 = impossible de déterminer la pertinence, 4 = non pertinent. Nous avons choisi d’adosser la version française de la grille REFLECT à la définition proposée par Nguyen et al. [7].

Les participants ont répondu à l’aide de questionnaires réalisés sur le logiciel LimeSurvey©.

La version finale (étape 6) a été présentée en atelier lors du 19^e congrès national du Collège national des généralistes enseignants en novembre 2019 [30] et quelques modifications mineures ont été apportées suite aux retours des participants à l’atelier.

Nous avons évalué l’acceptabilité de cet outil en proposant une zone de commentaires libres dans le questionnaire LimeSurvey© ainsi qu’auprès des participants à l’atelier lors du congrès.

Le tableau II présente les caractéristiques des personnes ayant participé aux différentes étapes du travail de traduction et d’adaptation culturelle.

Fig. 2 Diagramme de flux méthodologique.

Analyses statistiques

La validité de contenu a été évaluée par la mesure de l’index de validité de contenu (CVI) à l’échelle de l’item (I-CVI) et à l’échelle de la grille (S-CVI). L’I-CVI correspondait au nombre d’experts ayant évalué l’item comme pertinent (sans ou avec modifications mineures) divisé par le nombre total d’experts. Un seuil à 0,78 était visé. Le S-CVI correspondait à la moyenne des I-CVI, le seuil étant ici fixé à au moins 0,90.

Résultats

Traduction et adaptation interculturelle

Lors de la traduction de l’anglais vers le français (étape 1), certains termes spécifiques ont posé des difficultés aux traducteurs. Il s’agissait principalement de termes relativement spécifiques du champ des sciences de l’éducation ou du construit (« meaning structures », « transformative reflection and learning » ou encore « confirmatory learning » par exemple). Certaines expressions spécifiquement anglo-saxonnes sans équivalent exact en français étaient également concernées (par exemple « insight » ou « meaning making »). Les traducteurs ont proposé une traduction littérale de la grille, n’étant pas experts du champ de l’éducation médicale.

Lors de l’étape 2 (comparaison des deux traductions en vue d’une synthèse), RO et ML ont apporté l’expertise pédagogique, avec l’aide ponctuelle de correspondants bilingues, afin de réduire le risque de déformation de sens tout en recherchant une formulation adaptée au terrain d’utilisation future de la grille. Une dizaine d’arbitrages ont été réalisés.

La rétro-traduction a permis de s’assurer que les arbitrages et adaptations réalisés n’entraînaient pas de perte de sens voire de contresens par rapport à la version originale. Il n’y avait que peu de discordances entre les deux rétro-traductions ; elles correspondaient principalement à l’utilisation de synonymes ou expressions de signification similaire. La comparaison avec la version originale n’a pas décelé de contresens ou de différences majeures en dehors des termes spécifiquement anglo-saxons qui n’ont pas été rétro-traduits à l’identique par rapport à la version originale.

Tests pilotes

Évaluation de la clarté de la grille

La VF pré-finale (matériel éditorial complémentaire ; document 1) a été évaluée par un panel de quatorze volontaires : des enseignants (n = 7) et des étudiants de troisième cycle (n = 7) en médecine générale.

Trente et un items sur les 39 évalués ont été considérés comme insuffisamment ou pas du tout clairs par plus de 20 % des répondants et ont donc été modifiés, à l’aide des suggestions proposées par les répondants. Ils apparaissent surlignés sur le document 1.

Il est intéressant de noter que, là encore, parmi les éléments ayant posé des difficultés aux volontaires, qu’ils soient enseignants ou étudiants, on retrouvait notamment les traductions proposées pour « meaning structures », « transformative reflection and learning », « confirmatory learning », ainsi que « insight » ou « meaning making », qui avaient été sources de difficultés pour l’étape de traduction, malgré le glossaire que nous avions proposé pour clarifier ces éléments.

À l’issue de cette étape, le critère optionnel a été supprimé. Seuls 21 % des répondants ont trouvé que ce critère était insuffisamment ou pas du tout clair, mais ils étaient 29 % à trouver la description du niveau 3 insuffisamment ou pas du tout claire et 36 % pour le niveau 4. Leurs commentaires et suggestions montraient un risque d’incompréhension et donc de réponse erronée à ce critère (« je ne comprends pas vraiment ce que veut dire « choix d’une question alternative » », proposition de remplacer par « suis les recommandations [de bonne pratique des soins] applicables »). Ce critère n’était pas directement en lien avec la réflexivité, nous avons fait le choix de le supprimer de la version française.

Nous avons également modifié la mise en page de la grille, en raison de plusieurs commentaires suggérant de mieux marquer la différence entre l’évaluation du niveau de réflexivité en elle-même et l’axe II d’évaluation des impacts de la réflexivité sur les apprentissages. C’est pour cela que nous avons marqué la séparation entre les deux axes d’évaluation par un espace vide, et ajouté une flèche précisant les conditions d’évaluation de l’axe II.

Évaluation de la validité de contenu et de la clarté par les experts

La grille soumise aux experts (matériel éditorial complémentaire ; document 3) était issue des modifications réalisées suite aux tests pilotes auprès de l’échantillon de futurs utilisateurs.

Après discussion entre les auteurs, il n’a pas semblé pertinent d’évaluer les intitulés des quatre niveaux de réflexivité (« absence de réflexion sur l’action », « ébauche de réflexion sur l’action », « réflexion sur l’action » et « réflexion approfondie sur l’action (réflexivité) ») par rapport au cadre conceptuel.

Les six experts ont donc évalué 30 items, en lien avec le cadre conceptuel choisi et les cinq composantes essentielles de la réflexivité [7] : 80 % des items ont un indice de validité de contenu à 1 et 20 % ont un indice de validité de contenu à 0,83. L’indice de validité de contenu global (à l’échelle de la grille) est de 0,97.

Ils ont également évalué la clarté de 34 items car, pour cette évaluation, les intitulés des quatre niveaux de réflexivité ont été soumis aux experts : 16 (47 %) ont été évalués « insuffisamment ou pas du tout clairs » mais seulement 5 (15 %) l’ont été par 50 % des experts ou plus. Pour ces derniers, les propositions pour clarifier l’intitulé étaient consensuelles pour trois items (60 %). Pour les 11 items évalués « insuffisamment ou pas du tout clairs » par 33 % des experts, les remarques étaient consensuelles pour seulement trois d’entre eux (27 %). Seuls les items pour lesquels les commentaires concordaient n’ont pas nécessité d’arbitrage particulier.

Nous avons mené une dizaine d’arbitrages. Quatre items n’ont pas été modifiés après réévaluation, soit car la modification aurait été en incohérence avec le cadre conceptuel, soit parce que les propositions s’opposaient aux commentaires faits dans l’étape 5A. Lorsque les remarques des experts étaient trop divergentes pour un même item, nous n’avons retenu que les propositions de modification en cohérence avec le cadre conceptuel et l’esprit de la version originale.

Éléments de validation psychométrique de la version francophone de la grille REFLECT

Utilisation par un échantillon de la population cible

Un échantillon de 10 futurs utilisateurs a accepté de tester la grille sur trois traces d’apprentissage. Six réponses n’étaient pas exploitables et ont été exclues. L’analyse de la concordance retrouvait un coefficient kappa = 0,521 [−0,133 ; 0,714].

Présentation de la grille en congrès

Nous avons précisé la formulation du critère « Profondeur du récit » en raison d’incompréhensions liées à la spécificité des traces réflexives demandées en médecine générale (le terme « récit » fait référence à un chapitre de la trace écrite d’apprentissage) par rapport au contexte de développement de la grille (où le mot « récit » renvoie à l’ensemble de la trace d’apprentissage qui, comme le montre l’exemple disponible en matériel éditorial complémentaire (document 2), n’est pas divisée en chapitres).

La plupart des enseignants et internes en médecine générale ayant participé à ce travail ainsi que des participants à l’atelier durant le Congrès du Collège national des généralistes enseignants ont exprimé des retours positifs quant à l’utilité perçue et souhaitent intégrer cet outil à leur pratique. Une partie d’entre eux, des étudiants mais aussi enseignants, ont également souligné un impact positif sur leur compréhension de la posture réflexive.

Discussion

Une version francophone de la grille REFLECT pour évaluer la réflexivité

Suite aux retours effectués par l’échantillon d’enseignants et d’étudiants, la majorité des descripteurs de niveaux sont formulés de façon plus synthétique et ont été simplifiés par rapport à la traduction initiale. À l’inverse, certains descripteurs de niveaux ont été étoffés, notamment lorsqu’ils paraissaient trop abstraits ou insuffisamment explicites pour les évaluateurs. Nous avons également été amenés à modifier certains descripteurs pour marquer la différence entre deux niveaux. Il est important de noter que la différenciation parfois insuffisante entre les niveaux fait partie des critiques qui ont pu être formulées à l’encontre de la grille REFLECT originale [21]. Toutefois ces modifications n’ont pas dénaturé l’esprit de la version anglophone de la grille REFLECT. Pour mémoire, pour chaque niveau de chacun des critères était proposée une définition descriptive et c’était donc à l’étudiant et/ou à la personne évaluatrice de rechercher et documenter les extraits narratifs permettant d’argumenter le niveau atteint. Ces extraits constituent des indicateurs. La version française garde ce format et ne prescrit aucun indicateur précis.

Le critère optionnel a été totalement supprimé et la mise en page de la grille modifiée afin de faire apparaître plus clairement le processus d’évaluation en deux étapes, bien qu’il soit explicité dans les instructions d’utilisation de la grille (matériel éditorial complémentaire ; document 3). Par ailleurs, nous avons choisi de joindre un glossaire pour expliciter certains termes ou expressions qui nous paraissaient complexes ou bien utilisés dans un sens très spécifique. Tous ces éléments constituent des différences importantes avec la grille d’origine. Toutefois, cela est nécessaire pour rendre la grille accessible à l’ensemble des utilisateurs, notamment les étudiants, sans nécessiter une formation spécifique.

Une autre différence est le choix du cadre conceptuel sous-jacent ; toutefois la définition de Nguyen et al. [7] englobe le cadre théorique de développement de la version originale. En plus d’être englobante, elle est plus récente que la grille REFLECT et fait référence dans le milieu de l’éducation médicale francophone [11].

Par ailleurs, l’indice de validité de contenu, tant au niveau de chaque item qu’au niveau global, démontre que la version française présente une validité de contenu élevée.

De plus, la formulation de la question posée aux experts permet également d’apprécier en partie la validité de construit, puisque nous interrogions la pertinence par rapport à la définition de la réflexivité proposée par Nguyen et al. [7]. Toutefois, l’absence d’outil de référence ne permet pas d’effectuer d’analyse de la convergence. Il pourrait être intéressant d’évaluer la validité divergente par rapport à d’autres outils n’analysant pas le même construit.

Forces et limites de l’étude

La mise en œuvre d’une méthode rigoureuse pour les étapes de traduction et d’adaptation interculturelle constitue la force majeure de cette étude. Cela permet d’établir une équivalence conceptuelle, sémantique et de contenu dès le départ entre l’outil d’origine et la traduction [29].

Ensuite, nous avons inclus des étudiants dans l’échantillon de la population cible, ce qui est novateur. En effet, s’agissant d’un outil d’évaluation développé dans une visée formative, il doit être accessible non seulement pour les enseignants mais également pour des étudiants n’ayant pas forcément de maîtrise du domaine pédagogique.

Toutefois, l’étude n’est pas exempte de limites.

En effet, aucun des traducteurs n’avait d’expertise dans le domaine des sciences de l’éducation. Ainsi, cela a pu conduire à une traduction trop littérale de certaines expressions, avec un risque de perte de nuances ou de sens. Toutefois, ce risque a été limité par la vérification point par point par les auteurs RO et ML, et par le recours à des experts en pédagogie médicale bilingues pour les termes posant des difficultés particulières, que ce soit d’ordre conceptuel ou purement sémantique.

Lors de la rétro-traduction, nous obtenions des versions qui différaient de la version originale notamment sur les termes problématiques, qui ont nécessité des ajustements. Certains termes étaient trop spécifiques de l’anglais et la traduction a consisté en une paraphrase à défaut de pouvoir proposer un terme ou une expression correspondant à une traduction stricto sensu.

Par ailleurs, aucun des traducteurs participants n’était certifié et seul le traducteur de la deuxième étape avait une expérience professionnelle dans le domaine de la traduction. Cela a pu majorer le risque d’inexactitudes dans la traduction.

La taille de l’échantillon de la population cible correspond aux recommandations de bonne pratique [29]. Concernant les experts, la taille de l’échantillon est aussi en adéquation avec les recommandations de Sousa et Rojjanasrirat [29] mais n’atteint pas la taille idéale de dix personnes. Cela nous a mis en difficulté pour l’évaluation de la clarté de la grille par les experts car le seuil de 20 % était rapidement atteint. De plus, lorsque seulement deux experts sur six trouvaient la formulation « insuffisamment ou pas du tout claire » (11 items/16), dans plus de 70 % des cas le motif invoqué et la proposition de modification ne concordaient pas. Nous avons donc été contraints de réaliser un nombre important d’arbitrages lors de la réévaluation de ces items. Par ailleurs, deux experts étaient Québécois, ce qui a pu influencer l’évaluation de la clarté puisque le français québécois présente des singularités par rapport au français dit international (français de Paris) [31]. À l’inverse, cela peut aussi renforcer la possibilité de diffuser cette grille dans d’autres pays francophones, même s’il nous semble que pour l’affirmer avec certitude, un travail supplémentaire d’adaptation culturelle serait nécessaire.

Notre travail de traduction, rigoureux, constitue donc un préalable indispensable, pour pouvoir utiliser la grille REFLECT en France, et éventuellement dans d’autres pays francophones.

Il ne s’agit toutefois que d’un travail préliminaire, qui ne permet pas de conclure au regard de l’ensemble des indicateurs de crédibilité, fiabilité et transférabilité. Pour ce faire, un travail de validation approfondi reste nécessaire afin de s’assurer que notre outil présente des garanties suffisantes. Le choix du modèle de validation sera important à considérer, afin qu’il soit adapté aux caractéristiques de l’outil. Il pourrait par exemple être intéressant de s’appuyer sur le modèle de Kane [32], ou un autre modèle adapté à la démarche de validation d’outils d’évaluation qualitatifs.

Considérations concernant l’évaluation de la réflexivité des traces écrites d’apprentissage

L’évaluation est une composante essentielle du parcours de professionnalisation en sciences de la santé : non seulement elle doit répondre à l’objectif ultime d’attester que les étudiants sont devenus, à l’issue de leur cursus, des professionnels compétents, mais ses modalités déterminent la façon dont l’apprenant va étudier [5,14,33].

Ainsi, si l’on considère que la réflexivité est une compétence indispensable à acquérir et développer en vue d’un exercice professionnel équilibré, il semble utile de développer des outils permettant de la documenter et de l’évaluer [4], d’autant qu’une rétroaction peut être nécessaire pour faciliter ou permettre l’acquisition d’une véritable posture réflexive [5].

Toutefois, pour certains auteurs [2,34], l’impératif académique peut décourager les étudiants de s’engager dans une démarche honnête et ouverte d’analyse réflexive, voire les pousser à ne choisir que des situations d’analyses dont ils estiment qu’elles sont acceptables selon le cadre professionnel, ou à inventer des situations. Ils peuvent même encore simplement simuler la démarche réflexive par l’usage de termes et expressions permettant de faire illusion : il ne faut pas oublier que, s’agissant d’un processus métacognitif, les traces écrites d’apprentissage ne sont qu’un reflet indirect de la démarche engagée par l’apprenant [35]. Il s’agirait alors d’une démarche contre-productive sur le plan réflexif.

La non-prescription d’indicateurs précis et forcément limités en nombre par la grille REFLECT permet de limiter ce risque. En effet, c’est à l’étudiant de réfléchir et de se questionner sur les indicateurs présents dans ses traces écrites d’apprentissage, qui permettent de documenter la démarche réflexive menée sur la situation professionnelle relatée.

Par ailleurs, il ne faut pas négliger le risque de biais d’évaluation, les évaluateurs risquant notamment de prendre en compte le contenu de la prise en charge effectuée plus que le processus réflexif en lui-même [2,7]. Certains auteurs en concluent même qu’évaluer la réflexivité revient à tenter de marier deux processus incompatibles [2].

Sans avoir un avis aussi tranché, il semble important de garder en tête que l’influence d’une évaluation sommative sur la nature et la qualité des apprentissages recueillis dans le portfolio est encore insuffisamment documentée, y compris pour l’écriture réflexive [12,14], bien que le portfolio soit un outil d’évaluation recommandé notamment pour les construits de haut niveau taxonomique [36]. Ces questions se posent également en cas d’usage à visée purement formative, les conséquences des outils d’évaluation en termes de développement de la réflexivité et d’engagement des étudiants dans la démarche réflexive étant encore peu étudié [21].

Autre élément non négligeable, l’écriture réflexive requiert des compétences rédactionnelles et narratives qui ne relèvent pas des capacités réflexives de l’apprenant [35], frein qui a été soulevé par l’un des experts ayant évalué la version française de la grille REFLECT.

D’autres modalités d’évaluation de la démarche réflexive pourraient donc être envisagées, en complément de celle s’appuyant sur les traces écrites d’apprentissage. Cela nécessiterait de s’appuyer sur d’autres outils, adaptés, par exemple, à l’utilisation au cours d’entretiens de supervision directe ou indirecte en stage, ou encore lors d’échanges avec les tuteurs.

Par ailleurs, il importe de garder en tête que le processus réflexif est complexe et multidimensionnel : son évaluation ne doit pas se contenter d’une dichotomie entre réflexif et non réflexif. Chaque composante du modèle théorique et le processus réflexif de façon générale doivent être développés et envisagés selon un continuum de progression jusqu’à la démarche réflexive aboutie intégrant les cinq composantes [7], sans réduire la démarche réflexive au fait de cocher des cases [34].

Enfin, l’un des enjeux majeurs de l’évaluation de la réflexivité est lié à la diversité des modèles théoriques et définitions [35]. Notre choix de cadre théorique [7] constitue de ce point de vue un atout. En effet, sa méthodologie d’élaboration en fait un modèle synthétique, regroupant et combinant les principales perspectives et théories des quinze auteurs les plus influents sur le sujet. Bien que nous n’ayons pas élaboré un outil de novo à partir de cette théorie, les composantes essentielles de la réflexivité [7] trouvent une traduction concrète dans la version française de la grille REFLECT. Cela est conforté par l’indice de validité de contenu élevé que nous mettons en évidence. Toutefois, la validité de construit de la version française de la grille REFLECT nécessiterait une évaluation plus approfondie.

Il est intéressant de noter que les étudiants comme les enseignants ayant évalué la clarté de la version française nous ont fait part de leur intérêt pour l’outil REFLECT. Les étudiants y voient un outil de guidage de la démarche réflexive et de clarification des attentes face au terme « écriture réflexive », tandis que les enseignants y voient une réponse au moins partielle aux difficultés qu’ils rencontrent à évaluer correctement la réflexivité et surtout à fournir ensuite une rétroaction argumentée s’appuyant sur un « langage commun avec les étudiants ».

En lien avec la démarche de validation de la version française de la grille REFLECT, l’évaluation de son impact sur le développement effectif de la réflexivité des étudiants sera à documenter par des travaux ultérieurs.

Conclusion

La version française de la grille REFLECT est un outil d’évaluation de la réflexivité au travers des traces écrites d’apprentissage en contexte d’éducation médicale. Les résultats préliminaires concernant la validité de contenu sont tout à fait satisfaisants et c’est un outil qui permettra vraisemblablement d’optimiser le développement de la réflexivité chez les internes en médecine générale, de faciliter la rétroaction pour les superviseurs et d’harmoniser les pratiques d’évaluation de la réflexivité au travers du portfolio.

Des études dans d’autres disciplines médicales et paramédicales seront nécessaires pour évaluer la généralisabilité de nos résultats.

Contributions

Racha Onaisi a participé à la conception du protocole de recherche, au recueil des données, à l’interprétation des résultats et à l’écriture du manuscrit. François Severac a participé à la conception du protocole, à l’analyse statistique, à l’écriture et à la relecture du manuscrit. Mathieu Lorenzo a participé à la conception du protocole de recherche, au recueil des données, à l’interprétation des résultats, à l’écriture et à la relecture du manuscrit.

Liens d’intérêts

Aucun auteur ne déclare de conflit d’intérêt en lien avec le contenu de cet article.

Approbation éthique

L’étude a obtenu un avis favorable de la part du comité d’éthique de la Société internationale francophone d’éducation médicale (SIFEM) en date du 20/02/2019.

Elle a fait l’objet d’une déclaration sur le site de l’Université de Strasbourg concernant l’utilisation des données des participants.

Valorisation académique

Ce travail a été élaboré dans le cadre d’un travail académique (mémoire de master de pédagogie des sciences de la santé, Université de Strasbourg) et la version française de la grille REFLECT a fait l’objet d’une présentation lors d’un atelier pendant le 19^e Congrès du Collège national des généralistes enseignants le 29 Novembre 2019 à Nantes.

Matériel éditorial complémentaire

Document 1 : Version française pré-finale (à l’issue de l’étape 4).

Document 2 :  Traduction de l’exemple d’utilisation de la grille REFLECT en médecine générale proposé par Wald et al. adapté avec la terminologie de la version française.

Document 3 :  Version française pré-finale modifiée à l’issue de l’étape 5A (version soumise aux experts).

Remerciements

Un immense merci à Clara, Emily, Caroline, Andrew et Darragh d’avoir accepté d’effectuer ce travail de traduction. Merci au Pr Loye et ses étudiants, ainsi qu’au Pr Acker pour leur aide face à certains casse-têtes.

Merci également à l’ensemble des internes et enseignants de médecine générale ayant répondu à l’appel pour la validation de cet outil en français, et aux experts, Pr Nguyen, Pr Fernandez, Pr Poteaux, Dr Cabannes, Mme Balas-Chanel et Mme Brunstein, de nous avoir accordé de leur temps pour répondre aux questionnaires.

Merci au Pr Hedy Wald pour son accord concernant la traduction de la grille REFLECT et ses conseils, ainsi qu’au Pr Shmuel Reis.

Merci au Pr Dory et au Pr Dionne pour leurs conseils concernant la démarche de validation d’un outil d’évaluation.

Annexe

Annexe. 1 Version française finale de la grille REFLECT.

CRFPS Glossaire et guide d'utilisation

Références

Liste des tableaux

Liste des figures

	Fig. 1 Modèle conceptuel de la réflexivité d’après Nguyen et al. [7] (traduction libre).
Dans le texte

	Fig. 2 Diagramme de flux méthodologique.
Dans le texte

	Annexe. 1 Version française finale de la grille REFLECT.
Dans le texte

	CRFPS Glossaire et guide d'utilisation
Dans le texte