Numéro |
Pédagogie Médicale
Volume 21, Numéro 4, 2020
|
|
---|---|---|
Page(s) | 175 - 185 | |
Section | Concepts et innovations | |
DOI | https://doi.org/10.1051/pmed/2020065 | |
Publié en ligne | 23 décembre 2020 |
Crise COVID-19 : Évaluer à distance en contexte contraint. Rappels conceptuels et solutions alternatives
COVID-19 crisis: Distance assessment in a constrained context. Conceptual issues and alternative solutions
1
Aix-Marseille Université, Laboratoire d’économie et de sociologie du travail (LEST), UMR 7317,
Aix-en-Provence, France
2
Aix-Marseille Université Unité de formation et recherche (UFR) Sciences,
Marseille, France
3
Aix-Marseille Université, Unité de recherche UR 4671 « Apprentissage, Didactique, Évaluation, Formation » (ADEF),
Marseille, France
4
Aix-Marseille Université, Institut national supérieur du professorat et de l’éducation (Inspé),
Marseille, France
* Correspondance et offprints : Valérie CAMPILLO-PAQUET. Aix-Marseille Université Laboratoire d’économie et de sociologie du travail (LEST), UMR 7317, Aix-en-Provence, France. Mailto : valerie.campillo@univ-amu.fr.
Reçu :
14
Juillet
2020
Accepté :
7
Décembre
2020
commentaires éditoriaux formulés aux auteurs le 16 novembre et le 6 décembre 2020
Contexte et problématique : Le contexte récent de pandémie COVID a placé les formateurs et enseignants en santé face à une situation inédite, dans laquelle l’ensemble des éléments de cadrage organisationnels et pédagogiques a été bouleversé. L’impératif d’assurer la « continuité pédagogique » les a contraints à repenser dans l’urgence le dispositif d’enseignement et d’apprentissage et à mettre en place des modalités d’évaluation à distance plus ou moins satisfaisantes. Comment évaluer en contexte « dégradé » ? Objectifs : À partir du dispositif proposé aux enseignants d’une grande université française, cet article expose un panel de solutions adaptées permettant de transposer les évaluations en présence dans un format à distance, y compris dans le secteur santé. Ces propositions s’inscrivent dans la perspective d’une possible récurrence de crise sanitaire ou dans un choix délibéré de diversification de l’offre de formation, à distance ou en mode hybride.
Abstract
Background: The recent COVID pandemic put health training in front of a new situation, in which the frame of organizational and pedagogical elements changed. The ministerial directive of “educational continuity” forced health science educators to urgently rethink the teaching and learning system and put in place more or less satisfactory online assessment. How to assess in a constrained context? Objectives: Based on pedagogical tools and methods proposed to education a large French university, this paper aims to propose a set of solutions to transform knowledge and clinical skills assessment into face-to-face in a distance format, in the perspective of a potential recurrence of health crisis or in a deliberate choice to develop remote or blended learning in the future.
Mots clés : Évaluation / évaluation à distance / outils numériques / continuité pédagogique / compétences cliniques / sciences de la santé
Key words: Assessment / remote assessment / digital devices / educational continuity / clinical skills / health science
© SIFEM, 2020
Contexte
Les conditions relatives à la continuité pédagogique dans le contexte de pandémie ont bousculé les cadrages organisationnels et pédagogiques des établissements d’enseignement supérieur et placé les acteurs de l’éducation dans une posture inédite. Cette situation a nécessité, de la part des enseignants, une adaptation dans l’urgence de leurs pratiques pédagogiques habituelles et des modalités d’évaluation des étudiants. En quelques jours, les mesures adoptées en France par le Ministère de l’enseignement supérieur pour assurer une « continuité pédagogique » a amené les enseignants et les formateurs à développer des solutions pour communiquer et interagir avec leurs étudiants [2]. Ce contexte particulier et inédit a associé un ensemble de contraintes organisationnelles, techniques et temporelles. Parmi les plus significatives on relève : la mise en œuvre « à distance » des actions pédagogiques du fait de la situation de confinement et de l’isolement des acteurs de l’enseignement, le caractère urgent et imposé de la continuité pédagogique, le potentiel de réactivité de l’établissement pour la mise en œuvre opérationnelle du cadrage politique national (stratégie déployée, disponibilité continue des dispositifs numériques pour l’enseignement, formation dans l’urgence des équipes pédagogiques et leur accompagnement).
Ces diverses contraintes ont eu pour effet de placer nombre d’enseignants dans une situation de stress, nécessitant de leur part la mise en place de stratégies d’ajustement afin de transformer des modalités d’enseignement prévues en présence en modalités à distance, mais également afin de s’approprier de façon rapide et efficiente les technologies numériques requises et leur exploitation [3]. De même, les étudiants n’étaient pas préparés au format d’évaluation à distance, générant un effet de panique chez certains d’entre eux. Dans ce contexte inédit et à l’approche de la fin de l’année universitaire le défi était d’une part, de poursuivre un parcours pédagogique visant des objectifs d’apprentissage définis et peu modifiables et, d’autre part, d’évaluer l’acquisition de ces derniers par les étudiants. En cohérence avec les directives nationales [4] et suivant les filières de formation, de nouvelles dispositions ont dû être prises concernant les évaluations : examens terminaux neutralisés ou transformés en épreuves à distance, pondérations modifiées, etc. Ainsi, les équipes pédagogiques ont dû concevoir des scénarios d’évaluation innovants, pas toujours simples à mettre en œuvre et plus ou moins satisfaisants.
Problématique : comment évaluer en contexte « dégradé » ?
La question s’est rapidement posée au sein des établissements d’enseignement supérieur. En effet, si les pratiques d’enseignement à distance sont aujourd’hui massivement déployées dans l’enseignement supérieur, les évaluations dans le contexte de tels dispositifs, en particulier celles relevant des examens et concours, sont encore peu déployées dans le milieu universitaire français [5]. En l’occurrence, le critère essentiel à considérer ici est bien le caractère inédit du contexte, que nous qualifions de « dégradé » du fait des contraintes évoquées précédemment. Pour soutenir les équipes pédagogiques, un groupe de travail a été mandaté par l’Université d’Aix-Marseille en mars 2020. La commande était de proposer des solutions alternatives à distance, à substituer aux évaluations prévues initialement en présence.
Objectifs
Cet article a pour objet de présenter les solutions élaborées, en les ajustant notamment aux disciplines de santé. Après avoir rappelé les concepts clés de l’évaluation et précisé les caractéristiques de l’évaluation à distance (EvAD), des formats alternatifs détaillés seront proposés en fonction de la nature des évaluations. En conclusion, quelques recommandations et un point de vigilance institutionnel seront exposés.
Concepts clés pour évaluer
Évaluer est une activité professionnelle complexe, considérée depuis le milieu du XXe siècle, comme une opération cognitive de haut niveau [6,7]. Chacun admettra que pris par le manque de temps et une multiplicité d’activités, il s’est un jour fait surprendre en posant à ses étudiants un sujet d’examen mal ficelé dont l’effet boomerang s’est vite fait ressentir ! Notes catastrophiques, mécontentement des étudiants, insatisfaction de l’enseignant : une expérience peu agréable à laquelle les jeunes enseignants et formateurs s’exposent s’ils ne sont pas préparés.
L’évaluation est un produit consubstantiel de l’enseignement et de l’apprentissage qui se pense, normalement, dès la conception d’un programme de formation, afin de garantir ce que Biggs appelle l’alignement pédagogique [8]. De Ketele soutient la thèse que « l’évaluation est un des révélateurs les plus puissants du professionnalisme de l’enseignant » [9]. Concevoir tôt les modalités d’évaluation des apprenants permet à l’enseignant d’assurer la cohérence entre les attendus de formation (objectifs ou compétences) et le dispositif d’enseignement-apprentissage [10] mis en œuvre pour les développer. Cette démarche anticipée contribue à la qualité de la formation et en augmente l’efficacité [11]. Évaluer, ce n’est pas seulement contrôler a posteriori ou juger le produit (le résultat) d’une séquence de formation, c’est aussi et surtout, porter un jugement sur l’activité déployée par l’étudiant, le processus [12–14]. Le champ de l’évaluation en éducation fait appel à de nombreux concepts [15] et fait l’objet d’une littérature abondante en éducation en sciences de la santé. La revue Pédagogie Médicale par exemple, ne propose pas moins de 523 publications qui abordent ce thème depuis vingt ans.
Définitions de l’évaluation
De la pédagogie par objectifs (PPO) des années 1980 aux approches par compétences (APC), les enseignants et formateurs en santé sont chargés de former des professionnels capables de répondre aux besoins de santé des patients. Les enjeux de cette mission de formation justifient une attention particulière portée sur l’évaluation, dont l’exigence reste la même depuis plusieurs décennies, mais dont les modalités ont évolué.
Selon Hadji « l’évaluation est un acte de confrontation entre une situation réelle et des attentes concernant cette situation » [16]. Cette définition est adaptée à tout contexte qu’il soit scolaire ou professionnel. Évaluer, est une démarche rigoureuse en plusieurs étapes, de la planification à la prise de décision [17]. Évaluer, c’est confronter ce que l’évalué produit ou montre à ce que l’évaluateur attend. Ces attendus, dès lors qu’ils sont satisfaits, deviennent des acquis d’apprentissage (learning outcomes) pour l’évalué [18]. Selon De Ketele, évaluer c’est « examiner le degré d’adéquation entre un ensemble d’informations et un ensemble de critères adéquats à l’objectif fixé, en vue de prendre une décision » [19]. Cette définition remonte à la période du plein essor de la pédagogie par objectifs, mais reste un point de référence pour de nombreux évaluateurs.
Les limites de l’évaluation dans le cadre de la PPO sont nombreuses et bien étayées par la recherche [20]. Les approches par compétences qui se développent depuis quelques années dans les formations en santé introduisent de nouvelles dimensions : une structuration longitudinale de l’évaluation pour observer les trajectoires de développement professionnelles [21], la distinction entre évaluation des ressources d’une part et évaluation des compétences d’autre part [9,22], la mise en situation [23,24] ainsi que la dimension qualitative de l’évaluation [25].
Temporalité de l’évaluation
La littérature fait état de différentes manières d’aborder l’évaluation, par exemple selon sa finalité [12], selon la démarche et la fonction visée [9], ou encore selon la temporalité comme présenté ici [26,27].
Avant l’apprentissage
L’enseignant qui souhaite apprécier le niveau de connaissances ou de compétences des étudiants en début de formation peut réaliser une évaluation diagnostique. Cette évaluation, anonyme ou non, collective ou individuelle, informe l’enseignant et lui permet d’adapter ses interventions à venir au niveau et aux besoins des étudiants. Le résultat, quand il est exprimé sous forme de note, n’est pas intégré à une moyenne.
En cours d’apprentissage
On distingue deux formes d’évaluation qui ne font jamais l’objet d’une notation. La première, appelée évaluation formative, vise à favoriser la progression des apprentissages en renseignant qualitativement l’étudiant, comme l’enseignant, sur les acquis ou les points à améliorer. La seconde, appelée évaluation formatrice, introduite par Nunziati, vise l’appropriation des critères d’évaluation par les étudiants [28]. Ceux-ci sont, soit donnés par les enseignants en amont de l’évaluation, soit construits de manière collaborative et négociée. L’évaluation formatrice se donne pour but de mieux préparer les étudiants aux attendus et de donner du sens aux apprentissages comme à leur évaluation. C’est dans cette catégorie que s’inscrit l’évaluation par les pairs [29]. Évaluations formative et formatrice incluent un temps d’auto-évaluation suivi d’un temps de rétroaction (ou feedback), critique bienveillante et constructive du superviseur visant à améliorer les apprentissages [30]. Cette rétroaction, donnée par autrui, développe les capacités métacognitives de l’apprenant qui contribuent elles-mêmes à l’autorégulation de ses apprentissages.
Après une ou plusieurs séquences de formation
Les étudiants en santé sont soumis à deux types d’évaluation. L’évaluation certificative a pour finalité la délivrance d’attestation, diplôme ou certificat conférant des compétences particulières et, pour les professionnels de santé, l’autorisation d’exercice. En France, les épreuves organisées par les filières maïeutique, médecine et odontologie, en vue de l’obtention du certificat de synthèse clinique et thérapeutique (CSCT) ou encore les diplômes d’État en santé français, relèvent de l’évaluation certificative. Dans ce cadre, la démarche évaluative prend habituellement la forme d’une évaluation sommative, qui vise la vérification des acquis à partir d’une somme d’informations relatives aux apprentissages, de nature qualitative ou quantitative (auquel cas la somme est authentiquement une somme arithmétique) ; elle fait généralement l’objet d’une note (établie souvent à partir d’un score) qui rentre elle-même dans une moyenne en vue de la validation d’unités d’enseignements.
Caractéristiques et qualités psychométriques
Au-delà de cette typologie associée à la temporalité, l’évaluation peut être qualifiée de critériée. Dans ce cas, elle fait appel à des critères et indicateurs, le plus souvent prédéfinis, présentés sous forme d’une grille à laquelle se réfèrent les évaluateurs. De même, l’évaluation peut être qualifiée de standardisée lorsqu’elle place tous les candidats dans les mêmes conditions en termes de sujets d’examen, contexte des épreuves et barème de notation. C’est le cas par exemple des questions à choix multiples (QCM) et des tests de concordance [31]. Cette forme d’évaluation assure une équité de traitement de type égalitariste entre les candidats. Elle peut recourir à des outils numériques (PC, tablettes, boîtiers de vote) et la correction peut être automatisée (équité pour les candidats, gain de temps pour les évaluateurs).
L’évaluation ne peut être abordée sans définir le concept de remédiation, dispositif pédagogique ciblé, mis en place le plus souvent après l’évaluation sommative de l’étudiant, pour combler des lacunes, corriger des apprentissages erronés [32]. La remédiation peut aussi s’envisager au sein même du processus d’enseignement et d’apprentissage dans une logique d’évaluation programmatique [33,34], qui centrée tout à la fois sur le processus et sur le produit.
Enfin, dès sa conception, l’évaluation doit répondre à certaines qualités psychométriques telles que la validité, la fidélité (critères qui, dans une perspective docimologique, sont expressément abordés en lien avec une théorie de la mesure) et la pertinence [15,27]. La validité est une préoccupation constante en évaluation sommative puisque le jugement et la décision finale de l’évaluateur auront un effet direct sur le parcours de l’étudiant (stop or go). Deux variables sont à considérer : la validité de contenu (l’épreuve évalue-t-elle effectivement ce que l’on souhaite évaluer ?) et la validité de construit (l’outil utilisé est-il adapté à ce que l’on veut évaluer ?). La fidélité concerne la stabilité du jugement porté par l’évaluateur sur un même produit évalué à des temps différents ou dans un même temps par des évaluateurs différents (double correction avec écart non significatif). Il est à noter qu’un outil d’évaluation peut être fidèle sans être valide, alors qu’un outil valide est nécessairement fidèle. La pertinence est portée à la fois par la validité de contenu et par la cohérence au sein du dispositif d’enseignement-apprentissage [8,27].
Modèles théoriques
Les travaux de transposition que nous avons entrepris et que nous décrivons dans cet article s’appuient sur les repères conceptuels suivants.
Les travaux de Bonniol et Vial proposent « trois conceptions, trois épistèmê » [12] de l’évaluation, selon d’une part, la finalité recherchée et la posture des évaluateurs et, d’autre part, la posture des évalués. L’évaluation « comme mesure » donnant priorité aux produits, concerne notamment les formes sommatives et certificatives, parfois standardisées (QCM) ; elle fait toujours l’objet d’une note (souvent assimilée à un score) ou de l’attribution d’un niveau de performance. L’évaluation « comme gestion » se focalisant sur les procédures, permet de gérer les apprentissages. Elle correspond aux évaluations diagnostiques et formatives et s’accompagne toujours d’un temps de rétroaction ou feedback du superviseur mais ne fait pas l’objet d’une note. Enfin, l’évaluation « comme problématique du sens » (qui fait sens) est attentive aux processus. Elle se retrouve dans les démarches de validation des acquis professionnels (VAP) et de validation de l’expérience (VAE) mais aussi dans les démarches centrées sur le développement de compétences. Dans le cadre des études universitaires, elle intègre notamment la dimension formatrice dans laquelle les étudiants donnent du sens à la tâche évaluée, en s’appropriant ou en construisant les critères d’évaluation, ou en évaluant leurs pairs.
De Ketele distingue les trois fonctions principales suivantes de l’évaluation, différentes des finalités exprimées par Vial et Bonniol : (1) pour orienter une nouvelle action à entreprendre (fonction d’orientation) ; (2) pour améliorer une action en cours (fonction de régulation) ; (3) pour certifier socialement une action considérée comme terminée (fonction de certification) [9], en insistant notamment sur la nécessité de développer davantage les fonctions d’orientation et de régulation. Il croise ces trois fonctions avec trois démarches (sommative, descriptive et herméneutique) et définit ainsi neuf combinaisons. À chacune de ces combinaisons, correspondent plusieurs exemples de situations évaluatives. Par exemple, la démarche herméneutique (donner du sens) couplée avec la fonction d’orientation permet d’orienter un étudiant vers une filière disciplinaire adaptée au regard de nombreux indices recueillis (résultats, entretien, observation…). Cet auteur définit le processus évaluatif en quatre étapes, intégrant un souci constant des qualités de pertinence, validité, fiabilité [9]. La première étape consiste à recueillir un ensemble d’informations pertinentes dans le choix, valides pour l’exploitation et fiables dans le recueil ; la seconde étape est de confronter ces informations à des critères pertinents dans le choix, valides dans l’opérationnalisation, et fiables dans l’utilisation ; l’étape 3 attribue une signification aux résultats de cette confrontation permettant à l’étape 4 de fonder une prise de décision cohérente avec la fonction visée par l’évaluation.
Selon Fontaine et Loye [17], l’évaluation se présente aussi comme un processus, mais en cinq étapes, ajoutant ainsi explicitement au modèle de De Ketele une étape préalable : la planification, qui consiste à définir les contenus, les attendus d’apprentissage ciblés, la démarche, la temporalité (moments de l’évaluation) et les outils d’évaluation. Les quatre étapes suivantes, qui rejoignent celles présentées précédemment, sont : la collecte des traces qui documentent les apprentissages, l’interprétation, le jugement (étape centrale du processus d’évaluation) et la prise de décision.
Spécificités de l’évaluation à distance
Selon Nizet et al. [36] une situation d’évaluation à distance peut être caractérisée, du point de vue pédagogique et technologique, par quatre paramètres : le contexte d’enseignement dans lequel l’évaluation doit être mise en œuvre, du point de vue de son caractère « à distance » (s’agit-il d’un enseignement totalement à distance, ou bien hybride, mêlant distance et présence, ou encore d’un enseignement en présence enrichi par des ressources disponibles en ligne ?) ; les modalités synchrones ou asynchrones de l’évaluation ; la médiatisation, par les dispositifs techno-pédagogiques appropriés [37] ; et enfin la médiation qui concerne l’ensemble des interactions et des relations médiatisées entre les acteurs, enseignants et étudiants.
En référence au modèle de Fontaine et Loye [17], ces paramètres ont une incidence sur l’ensemble des étapes du processus d’évaluation mais plus particulièrement sur la première, la planification. En effet, le contexte (présence enrichie / hybridation / distance) et la nature des dispositifs numériques (les instruments) assurant la médiatisation de l’évaluation peuvent avoir une influence sur la définition des contenus d’évaluation ainsi que le choix des outils d’évaluation. Lors de la première étape, les évaluateurs doivent définir la tâche, les objectifs ou les compétences à évaluer (ce que doit faire l’étudiant) et prévoir les instruments d’évaluation. Dans le cas de l’EvAD, il s’agit de définir également : les outils numériques requis, la temporalité synchrone ou asynchrone et les modalités d’interaction avec les outils.
L’usage des dispositifs numériques en ligne requiert une vigilance particulière aux questions de sécurité (protection des données à caractère personnel, intégrité, fiabilité et sécurité des plateformes et technologies, …) et d’interopérabilité (accès équitable aux technologies choisies, reconnaissance des différents formats de données numériques, …) [38]. En outre, l’un des défis majeurs de l’évaluation à distance est de minimiser les risques de fraude, qu’il s’agisse du plagiat ou de l’usurpation d’identité [36,38].
Proposition de transpositions des modalités d’évaluation
Dans la situation particulière de confinement, présentée plus haut, les enseignants ont été amenés à transposer et adapter dans l’urgence et à distance, un format d’évaluation initialement pensé pour des dispositifs en présence. Dès lors, au moins deux des quatre paramètres caractérisant cette situation d’EvAD sont nécessairement fixés : le contexte d’enseignement, qui est entièrement à distance, et les dispositifs de médiatisation, généralement fournis par l’institution.
Le passage d’une évaluation en présence à une évaluation à distance nécessite le plus souvent de repenser le format et les critères d’évaluation [39,40]. Par exemple : la consigne écrite se doit d’être explicite et non ambiguë car il n’est pas possible de répondre oralement à une incompréhension de cette consigne au moment du passage de l’épreuve. La transposition d’une épreuve écrite rédactionnelle, à un questionnaire à réponses choisies (de type QCM, par exemple) nécessite un véritable travail de déconstruction / reconstruction du sujet. De même, la grille critériée d’évaluation doit souvent être repensée en fonction du nouveau format de l’épreuve.
À l’instar de plusieurs universités francophones [41–43], la réflexion menée à l’Université d’Aix-Marseille dans le contexte COVID-19 a donné lieu à un panel de solutions pouvant être déclinées dans la majorité des secteurs disciplinaires, à l’exception des épreuves d’admission en deuxième année, à l’issue de la première année des études de santé (PACES), maintenues en présence, de façon aménagée.
Initialement accessibles sur le site du Centre d’innovation pédagogique et d’évaluation (CIPE) de l’Université d’Aix-Marseille [1], les propositions qui suivent sont ici enrichies et adaptées au contexte spécifique des études de santé (Tableaux I–IV). La plateforme d’enseignement à distance utilisée est Moodle®, plateforme majoritairement utilisée dans l’enseignement supérieur français et dont les fonctionnalités (ou « outils ») sont déclinées dans la plupart des autres dispositifs.
Évaluations formatives et formatrices. Propositions de transposition dans des dispositifs à distance.
Évaluations écrites sommatives et certificatives. Propositions de transposition dans des dispositifs à distance.
Évaluations orales sommatives et certificatives. Propositions de transposition dans des dispositifs à distance.
Évaluations cliniques. Propositions de transposition dans des dispositifs à distance.
Évaluations formatives et formatrices
Ces types d’évaluation, intégrées au processus d’apprentissage, ont comme spécificité la confrontation et la communication des étudiants avec l’enseignant, ou entre étudiants. Il est donc nécessaire de pouvoir mettre en œuvre des solutions d’évaluation à distance intégrant cette spécificité (Tab. I).
Dans le contexte de la crise sanitaire qui a débuté en France mi-mars 2020, l’année universitaire étant très avancée, les évaluations diagnostiques n’étaient plus utiles. Cependant, elles peuvent se réaliser également à distance, généralement sous forme de tests de type QCM, question à réponse ouverte et courte (QROC) avec les outils proposés dans le tableau I.
Évaluations écrites sommatives et certificatives
La principale difficulté dans la mise en œuvre d’évaluations écrites sommatives ou certificatives à distance est d’éviter les fraudes de tout type : plagiat, usurpation d’identité, communication entre candidats, … Bien qu’il n’existe aucune solution totalement fiable, certaines permettent malgré tout de limiter les fraudes, la plus satisfaisante étant la surveillance à distance. Celle-ci peut être effectuée par l’équipe pédagogique elle-même, en général sur de petits effectifs d’étudiants, nécessitant souvent plusieurs sessions ou par une société spécialisée (ManagExam, ProctorExam, …). Cette solution nécessite dans tous les cas un équipement approprié (Webcam, ordinateur, connexion Internet satisfaisante) de la part de l’étudiant et des surveillants, ainsi que la mise en place d’un protocole de vérification de l’environnement du candidat, avant le démarrage de l’épreuve. Une autre solution, moins fiable mais qui permet néanmoins de limiter les fraudes consiste à appeler certains étudiants par téléphone après l’épreuve (non surveillée), afin qu’ils explicitent leur raisonnement. Les étudiants sont préalablement avertis de ce procédé ; le choix des étudiants appelés peut être fait par tirage au sort ou de façon ciblée par l’enseignant. L’ensemble de ces solutions est présenté dans le tableau II.
Évaluations orales sommatives et certificatives
Les solutions optimales d’évaluation orale à distance requièrent un dispositif de visioconférence (ou webconférence). Néanmoins, d’autres solutions d’oraux à distance peuvent être développées si le contexte de mise en œuvre ne permet pas l’usage de visioconférence. Ces solutions sont présentées dans le tableau III comme modalités « adaptées ».
Évaluations cliniques
Les évaluations des pratiques professionnelles sont essentielles dans le secteur de la santé et visent la vérification des compétences de la discipline mais également transverses telles que les compétences relationnelles et communicationnelles. Ces évaluations sont principalement mises en œuvre à travers les examens cliniques objectifs et structurés (ECOS) [45–47] ou lors des stages. Dans le cadre des ECOS, il s’agit d’évaluer la capacité et la qualité de réaction de l’étudiant face à des situations cliniques prédéfinies. Sur site, ces situations sont mises en œuvre sous forme de séquences tout au long d’un « circuit » et introduisent souvent l’usage de dispositifs de simulation (patient simulé standardisé). Leur déclinaison à distance nécessite de fournir aux étudiants les vidéos de ces séquences filmées. Les étudiants doivent alors développer leur raisonnement et expliciter les actions qu’ils mettraient en œuvre en réaction à ces situations. Cela renvoie aux modalités d’évaluation orales ou écrites, en fonction des choix de l’enseignant de solliciter l’étudiant soit à l’oral soit par écrit (questions à réponse ouverte et courte (QROC), QCM, argumentation critique), comme présenté dans les tableaux II et III. Dans le cadre des stages, s’ils sont maintenus, c’est à l’étudiant de fournir les preuves de ses activités, permettant de valider des compétences cliniques ou des techniques de soin. L’utilisation d’un portfolio électronique (e-portfolio) permet la collecte de ces preuves sur un support numérique structuré, maintenant le lien entre superviseur et supervisé [48]. Les cartes conceptuelles, pour la construction du raisonnement clinique ou l’élaboration d’un plan de soin [49,50] peuvent être partagées à distance. Le journal de bord, tenu par le stagiaire, intégré ou non au portfolio, est également intéressant pour accompagner la construction des compétences cliniques [51].
L’évaluation des compétences est possible à distance [52], sur la base des productions ou traces d’activités que les étudiants partagent avec leurs enseignants et formateurs (Tab. IV). Comme le soulignent Parent et Jouquan, elle « s’appuie nécessairement sur une interprétation critériée qui apprécie les résultats au regard de critères eux-mêmes étayés par des indicateurs, tout en privilégiant les indicateurs qualitatifs » [25]. Le portfolio [22,53,54], de format électronique, s’impose ici comme l’outil de recueil et d’organisation de ces traces ; il est également le support de pratique réflexive de l’étudiant sur ses apprentissages [55]. D’autres modalités peuvent être envisagées. Dans l’évaluation des compétences, Leroux et Belair décrivent un processus en quatre étapes [35,52] : (1) l’intention implique d’analyser les compétences pour les décliner en attendus d’apprentissage d’une part et d’identifier la situation ou les situations dans laquelle les compétences à évaluer seront mobilisées et les attendus observés, d’autre part ; (2) la mesure consiste à concevoir les grilles d’évaluation précisant les critères et indicateurs ou les descripteurs par niveau de performance (maîtrise) ; ceux-ci sont communiqués aux étudiants afin qu’ils s’y référent pour réaliser leur travail. Là encore, le portfolio dans lequel l’étudiant dépose les productions et traces permettant l’évaluation s’avère un élément indispensable ; (3) le jugement est porté par les évaluateurs qui se réfèrent aux niveaux de performance attendus pour chacune des compétences ; enfin, de l’étape de jugement découle celle de ; (4) la décision qui permet la certification des compétences.
Concernant l’évaluation des compétences à distance, une attention particulière sera portée lors de l’étape de conception, afin de garantir la cohérence entre les tâches d’évaluation proposées, les instruments choisis, les outils numériques retenus, les interactions nécessaires (étudiant/contenu ; étudiant/enseignant ; étudiant/étudiant) et les compétences visées [8].
Points de vigilance et recommandations
Après avoir rappelé les concepts clés de l’évaluation et mis en perspective un panel de solutions alternatives dans le cadre de l’EvAD, cet article conclut par quelques recommandations relatives aux modalités de l’EvAD (pluralités et appropriation) et un point de vigilance particulier sur le cadrage institutionnel.
Pluralité des modalités
Considérant l’isolement de certains étudiants ainsi que les difficultés techniques qu’ils peuvent rencontrer (accès à l’outil informatiques et à Internet), il est important de prévoir des modes « adaptés » de certains formats d’évaluation. Certains oraux peuvent alors être envisagés par visioconférence ou par téléphone. De même, il est souhaitable d’organiser l’accès aux épreuves écrites en temps limité, dans une fenêtre temporelle suffisamment grande pour donner aux étudiants le temps de se connecter et de s’approprier l’interface support de l’épreuve.
Appropriation des nouvelles modalités
Les évaluations à distance, quelles qu’elles soient, peuvent engendrer un surcroît de stress de la part des étudiants, surtout lorsque ces modalités sont nouvelles pour eux. Il est alors vivement conseillé de prévoir une séance de découverte des fonctionnalités de l’outil choisi (plateforme d’EvAD, dispositif de visioconférence pour un oral, nouvel outil de quizz, …) avant le passage de l’épreuve. Il peut s’agir d’un petit oral blanc, d’un test court sous forme de quelques questions QCM ou QROC, …
Cadrage institutionnel
Le rôle de l’institution est fondamental pour garantir l’égalité des chances auprès des étudiants et préciser le cadre global des évaluations, en accord avec les directives nationales. Il est ainsi nécessaire pour l’établissement de rappeler et appliquer les directives nationales [56], valider et communiquer (au moins 15 jours à l’avance) les modalités d’évaluations sommatives et certificatives à distance mises en place, vérifier que l’utilisation des outils numériques utilisés prenne en compte les dispositions du Règlement général sur la protection des données (RGPD) [57]. En général, l’utilisation des outils intégrés aux espaces numériques de travail (ENT) des établissements couvre automatiquement le RGPD.
L’institution doit également proposer des solutions pour les enseignants et étudiants ne disposant pas d’un environnement technique approprié (ordinateur ou tablette, connexion Internet satisfaisante, webcam dans certains cas et périphériques audio si besoin, …).
Conclusion
Dans le contexte contraint de la crise sanitaire qui a débuté en mars 2020, l’adaptation des évaluations dans un nouveau format, à distance, a mobilisé une grande partie de la communauté éducative. Faisant souvent preuve d’inventivité, les enseignants ont su développer des procédés d’évaluation pour lesquels ils n’étaient pas toujours formés et pourtant, ces solutions ont permis, dans une large mesure, de répondre à la directive de continuité pédagogique. Au-delà des réponses apportées, cette crise peut être considérée comme une opportunité de (re)penser la formation [58]. Pour être efficace, « cette démarche doit s’appuyer sur des principes reconnus en pédagogie, parmi lesquels le fait d’associer les apprentissages à la résolution de problèmes, de favoriser l’engagement actif des étudiants, d’encourager les interactions entre les pairs et avec les formateurs, et de s’efforcer de construire des activités d’évaluation ayant une forte authenticité » [59]. Le contexte d’urgence, d’isolement et le caractère particulièrement anxiogène de la période n’a peut-être pas permis à chacun d’appréhender avec un recul suffisant l’ensemble des étapes du processus d’évaluation à distance, ni même les paramètres à définir avec précision (choix des outils numériques appropriés, nature et format des interactions, …), mais l’expérience vécue a permis à nombre d’enseignants de lever certaines réticences, peurs ou blocages vis-à-vis de l’usage pédagogique des dispositifs numériques et plus généralement vis-à-vis de l’enseignement et de l’évaluation à distance.
Contributions et remerciements
Les trois auteurs ont publié une première contribution sur l’évaluation à distance destinée aux enseignants et formateurs de l’université d’Aix-Marseille. Nous remercions Laurence Espinassy, Sandrine Eschenauer enseignants-chercheurs à l’Inspé, pour leur participation à la version initiale disponible en ligne [1] et Pascale Brandt-Pomares, vice-présidente à l’innovation pédagogique.
Pour la présente contribution, Valérie Campillo-Paquet et Anne Demeester ont remanié et enrichi le texte initial, en l’adaptant au contexte spécifique des formations en santé. Anne Demeester et Patrice Laisney se sont chargés de l’approche conceptuelle, Anne Demeester de leur contextualisation en santé et Valérie Campillo-Paquet des propositions de transposition des modalités d’évaluation adaptées aux besoins des formations en santé. Les trois auteurs ont structuré et révisé l’article.
Approbation éthique
Non sollicitée car sans objet.
Liens d’intérêts
Aucun auteur ne déclare de conflits d’intérêts en lien avec le contenu de cet article.
Référence non citée
[60].
Références
- Évaluation à distance. Conseils généraux – Adaptation des modalités d’évaluation – Outils à votre disposition – Biblio et ressources. Université d’Aix-Marseille, 2020. [On-line] Disponible sur : https://www.univ-amu.fr/fr/public/evaluation-distance. [Google Scholar]
- Ministère de l’Enseignement Supérieur, de la Recherche et de l’Innovation. COVID-19 : mesures prises par le gouvernement pour les établissements d’enseignement supérieur et de recherche. 2020. [On-line] Disponible sur : https://www.enseignementsup-recherche.gouv.fr/cid150297/covid-19-mesures-prises-par-le-gouvernement-pour-les-etablissements-d-enseignement-superieur-et-de-recherche.html. [Google Scholar]
- Dussault M, Villeneuve P, Deaudelin C. L’échelle d’auto-efficacité des enseignants : validation canadienne-française du Teacher efficacy scale. Revue des sciences de l’éducation 2001;27:181‐94. [CrossRef] [Google Scholar]
- Ordonnance no 2020-351 relative à l’organisation des examens et concours pendant la crise sanitaire née de l’épidémie Covid-19. 2020 [On-line] Disponible sur : https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000041762732/. [Google Scholar]
- Beust P, Duchatelle I, Cauchard V. Examens télésurveillés par webcam au domicile de l’étudiant. In: Actes du IXe colloque QPES : relever les défis de l’altérité dans l’enseignement supérieur. 2017;7‐64. [On-line] Disponible sur : http://www.colloque-pedagogie.org/sites/default/files/colloque_2017/Actes_QPES_2017_Grenoble.pdf. [Google Scholar]
- Bloom BS, Krathwohl DR, Masia BB. Bloom taxonomy of educational objectives: The classification of educational goals. New York: Longman, 1984. [Google Scholar]
- Anderson LW, Krathwohl DR. A revision of Bloom’s taxonomy of educational objectives. A Taxonomy for Learning, Teaching and Assessing. New York: Longman, 2001. [Google Scholar]
- Biggs J. Teaching for quality learning at university: What the student does. New York: McGraw-Hill Education, 2011. [Google Scholar]
- De Ketele J-M. Ne pas se tromper d’évaluation. Revue française de linguistique appliquée 2010;15:25‐37. [CrossRef] [Google Scholar]
- Chatoney M, Hérold JF, Laisney P. L’enseignement-apprentissage un système complexe d’interaction : essai de modélisation du complexe. In: Chatoney M, Impedovo MA, eds. Regards sur le processus d’enseignement apprentissage. Paris : l’Harmattan, 2020:13‐35. [Google Scholar]
- Biggs J. Enhancing teaching through constructive alignment. High Educ 1996;32:347‐64. [CrossRef] [Google Scholar]
- Bonniol JJ, Vial M. Les modèles de l’évaluation : textes fondateurs avec commentaires. Bruxelles : De Boeck Supérieur, 2009. [Google Scholar]
- Dueck M, Germain L, Foley C. Mieux évaluer et motiver ses élèves : stratégies d’évaluation au service de l’apprentissage. Montréal : Chenelière éducation, 2016. [Google Scholar]
- Médioni MA, Hadji C. L’évaluation formative au cœur du processus d’apprentissage : des outils pour la classe et pour la formation. Lyon : Chronique sociale, 2016. [Google Scholar]
- De Peretti A, Boniface J, Legrand JA. Encyclopédie de l’évaluation en formation et en éducation. Paris : ESF Sciences Humaines, 2015. [Google Scholar]
- Hadji C. L’évaluation démystifiée : mettre l’évaluation scolaire au service des apprentissages. Paris : ESF, 1999:38. [Google Scholar]
- Fontaine S, Loye N. L’évaluation des apprentissages : une démarche rigoureuse. Pédagogie Médicale 2017;18:189‐98. [CrossRef] [EDP Sciences] [Google Scholar]
- Lemenu D, Heinen E. Comment passer des compétences à l’évaluation des acquis des étudiants ? : Guide méthodologique pour une approche programme dans l’enseignement supérieur. Louvain-la-Neuve : De Boeck, 2015. [Google Scholar]
- De Ketele JM, Roegiers X. Méthodologie du recueil d’informations : fondements des méthodes d’observations, de questionnaires, d’interviews et d’études de documents (3e éd.). Bruxelles : De Boeck Université, 1996:42. [Google Scholar]
- Nguyen DQ, Blais JG. Approche par objectifs ou approche par compétences ? Repères conceptuels et implications pour les activités d’enseignement, d’apprentissage et d’évaluation au cours de la formation clinique. Pédagogie Médicale 2007;8:232‐51. [CrossRef] [EDP Sciences] [Google Scholar]
- St-Onge C. Enjeux et défis de l’évaluation longitudinale : quelques pistes de réflexion préalables à son implantation. Pédagogie Médicale 2018;19:137‐42. [CrossRef] [EDP Sciences] [Google Scholar]
- Tardif J. L’évaluation des compétences : documenter le parcours de développement. Montréal : Chènelière Education, 2006. [Google Scholar]
- Scallon G. L’évaluation des apprentissages dans une approche par compétences. Bruxelles : De Boeck Université, 2004. [Google Scholar]
- Scallon, G. Des savoirs aux compétences : exploration en évaluation des apprentissages. Louvain-la-Neuve : De Boeck Supérieur, 2015. [Google Scholar]
- Parent F, Jouquan J. Comment élaborer et analyser un référentiel de compétences en santé ? : Une clarification conceptuelle et méthodologique de l’approche par compétences. Louvain-la-Neuve : De Boeck Supérieur, 2015. [Google Scholar]
- Pelaccia T. Glossaire. In: Pelaccia T (Coord.). Comment (mieux) former et évaluer les étudiants en médecine et en sciences de la santé ? Louvain-la-Neuve : De Boeck Supérieur, 2016:409‐15. [Google Scholar]
- Raynal F, Rieunier A. Pédagogie, dictionnaire des concepts clés : apprentissages, formation, psychologie cognitive. Paris : ESF Sciences Humaines, 2018. [Google Scholar]
- Nunziati G. Pour construire un dispositif d’évaluation formatrice. Les Cahiers pédagogiques 1990;280:47‐64. [Google Scholar]
- Colaux C. L’évaluation entre pairs dans des travaux de groupes : impacts sur la motivation et sur la perception des étudiants. Colloque ADMEE, 2015. [On-line] Disponible sur : http://hdl.handle.net/2268/178189. [Google Scholar]
- O’Brien HV, Marks MB, Charlin B. Le feedback (ou rétroaction) : un élément essentiel de l’intervention pédagogique en milieu clinique. Pédagogie Médicale 2003;4:184‐91. [CrossRef] [EDP Sciences] [Google Scholar]
- Fournier JP, Demeester A, Charlin B. Script concordance tests: Guidelines for construction. BMC Med Inform Decis Mak 2008;1:18. [Google Scholar]
- Talbot L, La Borderie R, Morandi F. L’évaluation formative : comment évaluer pour remédier aux difficultés d’apprentissage. Paris : A. Colin, 2012. [Google Scholar]
- Schuwirth LW, Van der Vleuten CP. Programmatic assessment: From assessment of learning to assessment for learning. Med Teach 2011;33:478‐85. [Google Scholar]
- Van Der Vleuten C, Schuwirth L, Driessen W, Govaerts M, Heeneman S. Twelve tips for programmatic assessment. Med Teach 2015;37:641‐6. [Google Scholar]
- Leroux JL, Bélair L. Exercer son jugement professionnel en enseignement supérieur. In : Leroux JL (Sous la direction de). Évaluer les compétences au collégial et à l’université : un guide pratique. Montréal : Chènelière Education, 2015;67‐107. [Google Scholar]
- Nizet I, Leroux J-L, Deaudelin C, Béland S, Goulet J. Bilan de pratiques évaluatives des apprentissages à distance en contexte de formation universitaire. Revue internationale de pédagogie de l’enseignement supérieur 2016;32(2):https://doi.org/10.4000/ripes.1073. [Google Scholar]
- Charlier B, De Schryver N, Peraya D. Apprendre en présence à distance. Distances et savoirs 2006;4:469‐96. [CrossRef] [Google Scholar]
- Audet L. Les pratiques et défis de l’évaluation en ligne. Le Réseau d’enseignement francophone à distance du Canada (REFAD). 2011 [On-line] Disponible sur : http://bv.cdeacf.ca/EA_PDF/158160.pdf. [Google Scholar]
- Leroux J-L., Desrochers M, Myre-Bourgault M-E. L’évaluation des apprentissages à l’ère du numérique en enseignement supérieur : quels besoins et quels défis ? Évaluer. Journal international de recherche en éducation et formation 2019;5:85‐108. [Google Scholar]
- Heilporn G, Denis C. Dispositifs d’évaluation en ligne : des recommandations de la littérature scientifique à des décisions précipitées en pratique. Évaluer. Journal International de recherche en éducation et formation 2020;Numéro Hors-série (1):165‐72. [Google Scholar]
- Lefebvre N, Denis C, Desrochers ME, Cabana M, Mathieu S. Suggestions de modalités d’évaluation alternatives dans un contexte de formation à distance. Sherbrooke : Université de Sherbrooke. 2020. [On-line] Disponible sur : https://www.usherbrooke.ca/enseigner/fileadmin/sites/enseigner/images/alternatives_presentiel/evaluations/Tableau_modalites_eval_alternatives_faD.pdf. [Google Scholar]
- Gauthier G, Charrette E, Verdy J, Lapointe F, Michelot F. Précis des meilleures pratiques pour l’évaluation à distance. Université de Montréal, 2020 [On-line] Disponible sur : https://cpu.umontreal.ca/fileadmin/cpu/documents/enseigner_distance/PrecisBonnesPratiquesEvaluationsADistance.pdf. [Google Scholar]
- Collectif. Évaluer en temps de pandémie. Évaluer. Journal international de recherche en éducation et formation 2020;Numéro Hors-série (1). [On-line] Disponible sur : http://journal.admee.org/index.php/ejiref/issue/view/21. [Google Scholar]
- Centre de pédagogie appliquée aux sciences de la santé (CPASS). Évaluation par concordance. 2020 [On-line] Disponible sur : https://www.cpass.umontreal.ca/recherche/groupe-de-recherche-cpass/axes-de-recherches/concordance/tcs/. [Google Scholar]
- Sibert L, Grand’Maison, P, Charlin B, Grise P. Développement d’un Examen Clinique Objectif Structuré pour évaluer les compétences des internes en urologie. Pédagogie Médicale 2000;1:33‐9. [CrossRef] [EDP Sciences] [Google Scholar]
- Aleluia I, Cardoso K. Évaluation de l’impact sur les apprentissages des étudiants de leur participation comme acteurs pendant un examen clinique objectif structuré de sémiologie médicale. Pédagogie Médicale 2019;20:141‐6. [CrossRef] [EDP Sciences] [Google Scholar]
- Bottet B, Selim J, Peillon C, Baste JM, Schwar L, Renaux-Petel M, Grise P, Sibert L. Évaluation objective structurée des habiletés techniques des internes de chirurgie en phase socle. Expérience monocentrique portant sur trois cohortes au Medical Training Center de Rouen. Pédagogie Médicale 2019;20:163‐75. [CrossRef] [EDP Sciences] [Google Scholar]
- Van Tartwijk J, Driessen E. Portfolios for assessment and learning: AMEE Guide no. 45. Med Teach 2009;31:790‐801. [Google Scholar]
- Demeester A. Formation initiale au raisonnement clinique en sciences maïeutiques : bénéfices, limites et perspectives d’utilisation des cartes conceptuelles. Thèse de doctorat. Louvain-la-Neuve : Université Catholique de Louvain, 2014. [Google Scholar]
- Demeester A, Vanpee D, Marchand C, Eymard C. Formation au raisonnement clinique : perspectives d’utilisation des cartes conceptuelles. Pédagogie Médicale 2010;11:81‐95. [CrossRef] [EDP Sciences] [Google Scholar]
- Villeneuve L. L’encadrement du stage supervisé. Montréal (QC) : Editions Saint-Martin, 1994. [Google Scholar]
- Cégep à distance et Université de Sherbrooke. Outil de questionnement pour la planification et la conception d’un cours en formation à distance. 2016 [On-line] Disponible sur : https://evaluationfad.cegepadistance.ca/wp-content/uploads/outil-questionnement.pdf. [Google Scholar]
- Sansregret M. La reconnaissance des acquis : cours sur l’élaboration d’un portfolio. Montréal (QC) : Hurtubise Hmh, 1998. [Google Scholar]
- Naccache N, Samson L, Jouquan J. Le portfolio en éducation des sciences de la santé : un outil d’apprentissage, de développement professionnel et d’évaluation. Pédagogie Médicale 2006;7:110‐27. [CrossRef] [EDP Sciences] [Google Scholar]
- Giet D, Massart V, Deum M, Brichant JF. Dispositif pédagogique en médecine palliative visant le développement de la réflexivité chez des étudiants. Utilisation d’un portfolio électronique. Pédagogie Médicale 2012;13:51‐64. [CrossRef] [EDP Sciences] [Google Scholar]
- Décret n°2017-619 du 24 avril2017 portant sur les formations à distance dans l’enseignement supérieur et Loi n° 2020-290 du 23 mars 2020 d’urgence pour faire face à l’épidémie de covid-19. Journal Officiel de la République Française, 24 mars 2020. [Google Scholar]
- Commission Nationale Informatique et Liberté. Surveillance des examens en ligne : les rappels et conseils de la CNIL. 2020 [On-line] Disponible sur : https://www.cnil.fr/fr/surveillance-des-examens-en-ligne-les-rappels-et-conseils-de-la-cnil. [Google Scholar]
- Pelaccia T, Charlin B, Demeester A, Denef J-F, Gagnayre R, Maisonneuve H, Moussa A, Nendaz M. Université : il faut « profiter de la crise sanitaire que nous traversons pour (re)penser la formation ». Le Monde 2020 [On-line] Disponible sur : https://www.lemonde.fr/idees/article/2020/09/29/universite-il-faut-profiter-de-la-crise-sanitaire-que-nous-traversons-pour-re-penser-la-formation_6054005_3232.html. [Google Scholar]
- Pelaccia T, Demeester A, Charlin B, Denef J-F, Gagnayre R, Maisonneuve H, Moussa A, Nendaz M. Le déploiement de la formation à distance au sein des facultés de médecine dans le contexte de la crise sanitaire liée à la COVID-19 : et après ? Pédagogie Médicale 2020;21: https://doi.org/10.1051/pmed/2020055. [Google Scholar]
- Demeester A. Comment évaluer des compétences dans l’enseignement supérieur ? In : Demeester A, De Giorgi B, Gouchan Y (Sous la direction de). L’évaluation à l’épreuve du contexte : pratiques et réflexions. Aix-en-Provence : Presses Universitaires de Provence, 2020. [Google Scholar]
Citation de l’article : Campillo-Paquet V., Demeester A., Laisney P. Crise COVID-19 : Évaluer à distance en contexte contraint. Rappels conceptuels et solutions alternatives. Pédagogie Médicale 2020:21;175-185
Liste des tableaux
Évaluations formatives et formatrices. Propositions de transposition dans des dispositifs à distance.
Évaluations écrites sommatives et certificatives. Propositions de transposition dans des dispositifs à distance.
Évaluations orales sommatives et certificatives. Propositions de transposition dans des dispositifs à distance.
Évaluations cliniques. Propositions de transposition dans des dispositifs à distance.
Les statistiques affichées correspondent au cumul d'une part des vues des résumés de l'article et d'autre part des vues et téléchargements de l'article plein-texte (PDF, Full-HTML, ePub... selon les formats disponibles) sur la platefome Vision4Press.
Les statistiques sont disponibles avec un délai de 48 à 96 heures et sont mises à jour quotidiennement en semaine.
Le chargement des statistiques peut être long.