L’efficacité des portfolios pour l’évaluation et la formation pendant le cursus post gradué. Guide BEME No. 12

The effectiveness of portfolios for post-graduate assessment and education: BEME Guide No. 12

National Health Service –NHS- Education for Scotland, UK

Correspondance et offprints: Claire Tochel, NHS Education for Scotland, Thistle House, 91 Haymarket Terrace, Edinburgh EH12 5HD, UK. Téléphone : +44 131 313 8085 ; Télécopie : +44 131 313 8001 ; email: claire.tochel@nes.scot.nhs.uk

Résumé

Contexte : Dans la formation post graduée en soins de santé, les port folios sont utilisés pour soutenir la pratique réflexive, pour fournir une évaluation sommative, pour faciliter les procédures de gestions des connaissances, et sont considérés comme un lien essentiel entre les apprentissages au niveau individuel comme au niveau des organisations. Cette revue systématique rassemble les preuves de l’efficacité des portfolios dans la formation post graduée en soins de santé et examine les implications de la migration du portfolio papier vers le port folio électronique dans tous les milieux professionnels. Méthode : Une revue de la littérature a été conduite sur les articles décrivant l’utilisation d’un portfolio pour l’apprentissage aussi bien dans le milieu du travail que dans celui de la formation professionnelle. Elle a été conçue pour avoir une haute sensibilité et a été conduite sur un large éventail de sources publiées ou non publiées relevant de la formation professionnelle. Aucune limite concernant la conception des études ou les résultats, ni le pays d’origine ou la langue n’a été définie. Une évaluation de la qualité, par paire, en aveugle, a été effectuée et l’évaluation détaillée de l’extraction de données à partir des d’articles inclus était gérée à l’aide d’un outil en ligne développé spécifiquement pour l’étude. Les résultats ont été discutés en profondeur par l’équipe, pour identifier et regrouper les thèmes pertinents afin de répondre aux questions de recherche. Résultats : Cinquante six articles de 10 pays impliquant sept professions de santé ont répondu à nos critères d’inclusion, et à un seuil minimal de qualité ; il s’agissait le plus souvent d’études observationnelles non contrôlées. Les portfolios encourageait la réflexion pour certains groupes, et facilitait l’engagement dans l’apprentissage. Il y avait des preuves limitées de l’influence d’un certain nombre de facteurs sur l’utilisation du portfolio, incluant un soutien continu par des mentors ou par des pairs, la méthode de mise en œuvre, le comportement des utilisateurs et le niveau de formation initiale. Un certain nombre d’auteurs ont exploré la fiabilité et la validité du portfolio pour l’évaluation sommative mais les rapports de fidélité variaient au travers de preuves disparates. Des liens vers des référentiels compétences et les cadres d’assurance qualité ont été démontrés. Il existait des rapports contradictoires pour savoir si les différents objectifs des portfolios peuvent être combinés sans compromettre la pertinence du contenu. Il existait des preuves concernant la flexibilité apportée par le format électronique des portfolios aux utilisateurs, aux évaluateurs et aux organisations, et encourageant une utilisation plus enthousiaste. La sécurité des données restait une priorité élevée à tous les niveaux et il y avait des preuves émergeantes de transferts réussis entre les systèmes électroniques de port folio. Conclusion : Les données probantes sont étendues mais contiennent peu d’études de haute qualité permettant de délivrer des messages généralisable sur l’efficacité des portfolios. Il y a néanmoins des bonnes preuves démontrant que s’ils sont bien mis en œuvre, les portfolios sont efficaces et utiles de plusieurs manières dont une augmentation de la responsabilité personnelle dans l’apprentissage et un accompagnement du développement professionnel. Les versions électroniques encouragent mieux la réflexion et les utilisateurs y passent volontairement plus de temps. La rétroaction régulière d’un mentor améliore cette efficacité, malgré l’aspect chronophage pour les utilisateurs et parfois un certain scepticisme sur les objectifs d’un portfolio. Les rapports de fidélité inter évaluateurs dans les évaluations sommatives des données du portfolio sont variés et il existe un bénéfice à trianguler avec d’autres méthodes d’évaluation. Les preuves étaient insuffisantes pour tirer des conclusions concernant la mise en place dans des contextes interdisciplinaires.

Abstract

Background: Portfolios in post-graduate healthcare education are used to support reflective practice, deliver summative assessment, aid knowledge management processes and are seen as a key connection between learning at organisational and individual levels. This systematic review draws together the evidence on the effectiveness of portfolios across postgraduate healthcare and examines the implications of portfolios migrating from paper to an electronic medium across all professional settings. Methods: A literature search was conducted for articles describing the use of a portfolio for learning in a work or professional study environment. It was designed for high sensitivity and conducted across a wide range of published and unpublished sources relevant to professional education. No limits for study design or outcomes, country of origin or language were set. Blinded, paired quality rating was carried out, and detailed appraisal of and data extraction from included articles was managed using an online tool developed specifically for the review. Findings were discussed in-depth by the team, to identify and group pertinent themes when answering the research questions. Results: Fifty six articles from 10 countries involving seven healthcare professions met our inclusion criteria and minimum quality threshold; mostly uncontrolled observational studies. Portfolios encouraged reflection in some groups, and facilitated engagement with learning. There was limited evidence of the influence of a number of factors on portfolio use, including ongoing support from mentors or peers, implementation method, user attitude and level of initial training. Confounding variables underlying these issues, however have not been fully investigated. A number of authors explored the reliability and validity of portfolios for summative assessment but reports of accuracy across the disparate evidence base varied. Links to competency and Quality Assurance frameworks have been demonstrated. There were conflicting reports about whether the different purposes of portfolios can be combined without compromising the meaningfulness of the contents. There was good evidence that the flexibility of the electronic format brought additional benefits to users, assessors and organisations, and encouraged more enthusiastic use. Security of data remained a high priority issue at all levels, and there was emerging evidence of successful transfer between electronic portfolio systems. Conclusion: The evidence base is extensive, but contains few high quality studies with generalisable messages about the effectiveness of portfolios. There is, however, good evidence that if well implemented, portfolios are effective and practical in a number of ways including increasing personal responsibility for learning and supporting professional development. Electronic versions are better at encouraging reflection and users voluntarily spend longer on them. Regular feedback from a mentor enhances this success, despite competing demands on users’ time and occasional scepticism about the purpose of a portfolio. Reports of inter-rater reliability for summative assessments of portfolio data are varied and there is benefit to be gained from triangulating with other assessment methods. There was insufficient evidence to draw conclusions on how portfolios work in interdisciplinary settings.