Les effets éducatifs des portfolios sur l'apprentissage des étudiants pendant le cursus prégradué : une revue systématique de la collaboration Best Evidence Medical Education (BEME). Guide BEME^* N° 11

The educational effects of portfolios on undergraduate student learning: A Best Evidence Medical Education (BEME) systematic review. BEME Guide No. 11

¹ Université de Birmingham, Royaume-Uni
² Université Complutense de Madrid, Espagne
³ Birmingham Women’s Hospital NHS Trust, Royaume-Uni
⁴ Université de Birmingham City, Royaume-Uni

Correspondance et offprints : S. Buckley, Medical Education Unit, University of Birmingham, Vincent Drive, Edgbaston, Birmingham B15 2TT, Royaume-Uni. Mailto : s.g.buckley@bham.ac.uk

Résumé

Introduction : Au cours des dernières années, l'utilisation des portfolios en tant qu'outil d'apprentissage et d'évaluation est devenue une pratique de plus en plus répandue au sein des programmes de formation des professionnels de santé. Malgré le nombre croissant de publications qui rend compte de cette tendance, il manque une synthèse claire des données probantes qui en documente les effets éducatifs chez les étudiants au cours du cursus pré-gradué dans le milieu des professions de santé. Tel est l’objet de la présente contribution qui expose les résultats d’une revue méthodique et systématique. Méthodes : Nous avons élaboré un protocole de revue systématique sur la base des recommandations de la Best Evidence Medical Education (BEME) Collaboration. Les références obtenues grâce à une recherche électronique analysant dix bases de données ont été évaluées par deux examinateurs indépendants en fonction de critères d'inclusion et d'exclusion préalablement définis. Les textes intégraux ont été obtenus pour les articles potentiellement pertinents. Ceux-ci ont ensuite été analysés par deux examinateurs indépendants qui ont défini les études à inclure dans la revue systématique. À chaque étape, les points de désaccord entre eux ont été discutés jusqu'à ce qu'un accord soit trouvé. Les données relatives aux caractéristiques de la population étudiante, de l'intervention, des indicateurs de résultats, du plan et des résultats de l'étude ont été recueillies grâce à un formulaire pilote d'extraction de données. Chaque étude a été évaluée en fonction de onze indicateurs de qualité visant à définir comment l’étude était conçue et menée au regard du modèle hiérarchique de Kirkpatrick, modifié compte tenu du contexte pédagogique. Des comparaisons entre différents groupes ont été effectuées à l'aide du test de Kruskal-Wallis (ANOVA non paramétrique) ou du test de Mann-Whitney U, le cas échéant. Résultats : Les recherches électroniques ont identifié 2 348 références. Vingt-trois références supplémentaires ont été détectées manuellement dans des listes bibliographiques. Cinq cent cinquante-quatre articles in extenso ont été obtenus et évalués en fonction de nos critères d'inclusion. Sur les 69 études retenues dans notre revue systématique, 18 sont issues du domaine de la médecine, 32 des soins infirmiers et 19 d'autres professions de santé, incluant la dentisterie, la kinésithérapie et la radiographie. Dans tous les groupes professionnels, les portfolios sont principalement utilisés dans le milieu clinique. Dans la majorité des cas, il est obligatoire de les mener à terme, la démarche réflexive étant requise et l'évaluation (formative, sommative ou mixte) constituant la norme. Trois études font état de l'usage de portfolios électroniques. Alors que de nombreuses études combinent plusieurs méthodes de collecte des données, plus de la moitié des études retenues a recours à des questionnaires ; un tiers organise des entretiens selon le format de « groupes de discussion focalisée » et un autre tiers évalue directement les portfolios. La majorité des études évaluent la perception des étudiants ou des tuteurs quant à l'impact de l'usage des portfolios sur le processus d'apprentissage. Cinq études sont de nature comparative, l'une d’entre elles étant un essai randomisé. Les études s’efforcent de satisfaire les indicateurs de qualité relatifs à la pertinence des sujets d'étude, à la clarté de la question de recherche et à l'exhaustivité des données. Cependant, dans de nombreuses études, les méthodes ne sont pas décrites de manière suffisamment détaillée pour permettre de porter un jugement. Dix-neuf études sur les soixante-neuf incluses (27 %) répondent à au moins sept indicateurs de qualité. Les publications de ces études dites « de qualité supérieure » sont plutôt récentes, quelle que soit la profession. Le « score de qualité » médian (nombre d'indicateurs positifs) varie de deux pour les études publiées avant ou en 2000 à sept pour les études publiées à partir de 2005. Des différences significatives ont été observées entre les scores de qualité des études publiées avant ou en 2000 et de celles publiées entre 2001 et 2004 (p = 0,027), entre celles publiées avant ou en 2000 et celles publiées à partir de 2005 (p = 0,002) et entre toutes les études (p = 0,004). Des tendances similaires sont observées dans tous les groupes professionnels. Cinquante-neuf études (85 %) ont été évaluées en référence au niveau 1 du modèle hiérarchique de Kirkpatrick modifié (c'est-à-dire les effets « participatifs », y compris les évaluations de la perception qu'ont les étudiants a posteriori de l'impact de leur portfolio sur leur apprentissage). Dans neuf études (13 %), les évolutions deshabiletés ou des attitudes des étudiants sont mesurées directement. Une étude rapporte un changement comportemental des étudiants. D'après les études sélectionnées dans notre revue, les principaux effets que peut avoir l'usage de portfolios sont : l'amélioration des connaissances et de la compréhension des étudiants (vingt-huit études, dont six au niveau de Kirkpatrick égal ou supérieur à 2), une « conscience de soi » plus importante et l'approfondissement du processus réflexif (quarante-quatre études, dont sept au niveau de Kirkpatrick égal ou supérieur à 2), ainsi que la capacité à apprendre de manière autonome (dix études, dont l'une au niveau 2 de Kirkpatrick). Les résultats des études de qualité supérieure identifient également des avantages dans ces domaines, à savoir de meilleures connaissances et une meilleure compréhension des étudiants, en particulier une aptitude à intégrer la théorie à la pratique bien que la corrélation avec l'amélioration des résultats d'autres évaluations ne soit pas toujours évidente. Ils montrent également une meilleure « conscience de soi » et un approfondissement de la démarche réflexive, bien que certaines études mettent en question la qualité de la réflexivité. Les études de qualité supérieure suggèrent également  que l'usage des portfolios : améliore la rétro-action fournie aux étudiants et rend les tuteurs plus conscients des besoins des étudiants ; permet de les aider à gérer les situations précaires ou éprouvantes sur le plan émotionnel. L’usage du portfolio prépare également les étudiants aux cycles ultérieurs où la pratique réflexive est indispensable. L'engagement en temps nécessaire pour mettre en œuvre un portfolio constitue une contrainte majeure. Deux études ont démontré que cela portait atteinte aux autres apprentissages cliniques. Conclusion : À l'heure actuelle, le corpus des données probantes relatives aux effets éducatifs des portfolios au cours de cursus pré-gradués est d’une importance et d’une portée limitées. Cependant, la qualité des études publiées tend clairement à s'améliorer. D'après les articles de « qualité supérieure », l'usage des portfolios a pour principaux avantages : une amélioration des connaissances et de la compréhension des étudiants, une meilleure « conscience de soi » et un approfondissement de leur démarche réflexive ainsi qu'une amélioration dans les relations étudiant-tuteur. Toutefois, les résultats suggèrent aussi que si les portfolios favorisent l'approfondissement du processus réflexif des étudiants, la qualité de celui-ci n'est pas acquise pour autant. En outre, l'engagement en temps requis pour l’élaboration du portfolio peut nuire à d'autres apprentissages ou dissuader les étudiants de s'engager dans le processus, à moins qu’ils y soient obligés par le dispositif d'évaluation. Des travaux ultérieurs sont don c nécessaires pour consolider le corpus de données probantes relatives à l'usage des portfolios ; en particulier, seraient nécessaires des études comparatives observant directement l'évolution des connaissances et des aptitudes des étudiants, plutôt que des enquêtes faisant simplement état de leurs perceptions après la réalisation du portfolio.

Abstract

Introduction: In recent years, the use of portfolios as learning and assessment tools has become more widespread across the range of health professions. Whilst a growing body of literature has accompanied these trends, there is no clear collated summary of the evidence for the educational effects of the use of portfolios in undergraduate education. This systematic review is the result of our work to provide such a summary. Methods: We developed a protocol based on the recommendations of the Best Evidence Medical Education (BEME) collaboration. Citations retrieved by electronic searches of 10 databases were assessed against pre-defined inclusion/exclusion criteria by two independent reviewers and full texts of potentially relevant articles were obtained. Studies were identified for inclusion in the review by examination of full text articles by two independent reviewers. At all stages, discrepancies were resolved by consensus. Data relating to characteristics of the student population, intervention, outcome measures, study design and outcomes were collected using a piloted data extraction form. Each study was assessed against 11 quality indicators designed to provide information about how well it was designed and conducted; and against the Kirkpatrick hierarchy as modified for educational settings. Comparisons between different groups were carried out using the Kruskal–Wallis test (non-parametric ANOVA) or the Mann–Whitney U test as appropriate. Results: Electronic searches yielded 2 348 citations. A further 2 3 citations were obtained by hand searching of reference lists. Five hundred and fifty four full articles were retrieved and assessed against our inclusion criteria. Of the 69 studies included in our review, 18 were from medicine, 32 from nursing and 19 from other allied health professions, including dentistry, physiotherapy and radiography. In all professional groups, portfolios were used mainly in the clinical setting, completion was mostly compulsory, reflection required and assessment (either formative, summative or a combination of both) the norm. Three studies used electronic portfolios. Whilst many studies used a combination of data collection methods, over half of all included studies used questionnaires, a third used focus group interviews and another third used direct assessment of portfolios. Most studies assessed student or tutor perceptions of the effect of the use of portfolios on their learning. Five studies used a comparative design, one of which was a randomized controlled trial. Studies were most likely to meet the quality indicators relating to appropriateness of study subjects, clarity of research question and completeness of data. However, in many studies, methods were not reported in sufficient detail to allow a judgement to be made. Nineteen of the 69 included studies (27%) met seven or more quality indicators. Across all professions, such “higher quality” studies were more likely to have been published recently. The median “quality score” (number of indicators met) rose from two for studies published in 2000 or earlier to seven for studies published in 2005 or later. Significant differences were observed between the quality scores for studies published in or before 2000 and those published between 2001 and 2004 (p¼0.027), those published in or before 2000 and those published in 2005 or later (p¼0.002) and between all studies (p¼0.004). Similar trends were seen in all professional groups. Fifty nine (85%) of the included studies were assessed at level 1 of the modified Kirkpatrick hierarchy (i.e. “participation” effects, including “post hoc” evaluations of student perceptions of the effects of keeping a portfolio on their learning). Nine (13%) of the studies reported direct measurement of changes in student skills or attitudes and one study reported a change in student behaviour. The main effects of portfolio use identified by the included studies were: improvement in student knowledge and understanding (28 studies, six at Kirkpatrick level 2 or above), greater self-awareness and encouragement of reflection (44 studies, seven at Kirkpatrick level 2 or above) and the ability to learn independently (10 studies, one at Kirkpatrick level 2). The findings of higher quality studies also identified benefits in these areas. They reported improved student knowledge and understanding, particularly the ability to integrate theory with practice, although a correlation with improved scores in other assessments was not always apparent. Greater self-awareness and engagement in reflection were also noted, although some studies questioned the quality of the reflection undertaken. Higher quality studies also suggest that use of portfolios improves feedback to students and gives tutors a greater awareness of students’ needs, may help students to cope with uncertain or emotionally demanding situations and prepares students for postgraduate settings in which reflective practice is required. Time commitment required to collate a portfolio was the major drawback identified. In two of the studies, this was found to detract from other clinical learning. Conclusions: At present, the strength and extent of the evidence base for the educational effects of portfolios in the undergraduate setting is limited. However, there is evidence of an improving trend in the quality of reported studies. “Higher quality” papers identify improvements in knowledge and understanding, increased self-awareness and engagement in reflection and improved student–tutor relationships as the main benefits of portfolio use. However, they also suggest that whilst portfolios encourage students to engage in reflection, the quality of those reflections cannot be assumed and that the time commitment required for portfolio completion may detract from other learning or deter students from engaging with the process unless required to do so by the demands of assessment. Further work is needed to strengthen the evidence base for portfolio use, particularly comparative studies which observe changes in student knowledge and abilities directly, rather than reporting on their perceptions once a portfolio has been completed.