© SIFEM, 2020

Contexte et cadre conceptuel

La situation inédite de pandémie de COVID-19 a mis les programmes de formation à rude épreuve au printemps 2020. En effet, les activités pédagogiques ont été interrompues ou grandement perturbées à tous les niveaux d’enseignement, de la mi-mars jusqu’à l’été dans de nombreux pays. Des répercussions importantes sur la sélection des candidats dans les programmes de formation en sciences de la santé pour les années à venir sont donc inéluctables. Cet article est une réflexion relativement aux implications sur les processus de sélection des étudiants dans les facultés de médecine, notamment au Québec et au Canada, dès 2020. Cette réflexion s’articule autour des questions à se poser afin de fournir des arguments de validation des processus de sélection à mettre en place.

Le modèle de Kane [1], habituellement utilisé pour la validation d’un instrument d’évaluation, repose sur une chaîne de quatre inférences :

• les inférences de notation concernant la sélection des observations pertinentes à récolter et la manière de les prendre en compte ;

• les inférences de généralisation portant sur la stabilité des observations et l’examen des éventuels biais qui peuvent nuire à la capacité de ces observations à être généralisées ;

• les inférences d’extrapolation concernant la capacité du processus à discriminer convenablement les candidats ;

• les inférences d’implication portant sur la crédibilité des décisions et sur les conséquences, notamment sociales, qui en découlent.

C’est à ce modèle que nous nous référons pour articuler le questionnement.

Problématique

Perturbations des formations en amont des processus d’admission : enjeux de notation et de généralisation des performances académiques

Dans la majorité des pays à travers le monde, les programmes d’étude en médecine basent en grande partie leur sélection sur les performances scolaires antérieures des candidats [2]. Cependant, en raison de la pandémie, les cheminements scolaires des futurs candidats en médecine ont été interrompus, parfois pendant plusieurs mois. Par exemple, les sessions de formation dans le système collégial au Québec, interrompues en mars 2020, ne permettent pas au ministère de l’Éducation de générer un indice de performance académique pour la session du printemps 2020 (la cote R − cote de rendement académique). Les candidats qui postuleront auront donc une cote R basée sur un échantillonnage incomplet de leurs performances académiques. Selon le cheminement de chaque candidat, les données manquantes ne concerneront ni les mêmes cours, ni le même nombre de cours. En conséquence, le fait que les facultés de médecine prennent des décisions d’admission en se basant parfois sur d’infimes différences entre les cotes R des candidats soulève le problème de l’insuffisance de sa précision et donc de la pertinence de l’utiliser pour témoigner des performances scolaires antérieures au moment de la sélection, ce qui fait référence à des problèmes de notation. Néanmoins, il est probable que cette cote R tronquée sera quand même utilisée, faute de mieux.

Des réflexions sont toujours en cours au sein de plusieurs universités afin de décider comment utiliser cet indice de la performance académique dans le dossier des candidats. Dans ce cas, son usage soulèvera des problèmes de généralisation à cause du manque de stabilité quant à ce dont elle témoignera d’un candidat à un autre. Le défi de classer les candidats sera, à n’en pas douter, plus grand et impliquera d’accepter une plus grande « marge d’erreur » à propos de cette mesure. Avant la pandémie, plusieurs institutions utilisaient une approche « seuil » pour établir le niveau minimal acceptable de performance académique, au lieu d’un classement basé sur la cote R. Face aux problèmes de validation de la cote R liés à la pandémie, cette approche pourrait s’avérer d’autant plus prometteuse.

Incapacité à utiliser certains outils de sélection pour l’évaluation des aptitudes : enjeux de notation, de généralisation, d’extrapolation et d’implication pour la sélection basée sur les qualités personnelles

En réponse à la pandémie, des mesures sanitaires draconiennes ont été instaurées dans la plupart des pays au printemps 2020. Ces mesures ont rendu impossible la tenue d’entrevues en personne. En Amérique du Nord, plusieurs institutions n’ont donc pas pu évaluer les qualités personnelles de leurs candidats via des entrevues de sélection, largement utilisées en temps normal. Certaines institutions ont choisi d’utiliser des tests de jugement situationnel en ligne, comme le Computer-based Assessment for Sampling Personal characteristics (CASPer) [3]. D’autres institutions ont choisi de procéder par tirage au sort parmi les candidats qui auraient été convoqués aux entrevues en temps normal [4]. D’autres ont réussi à s’adapter rapidement et à intégrer des entrevues réalisées entièrement de manière virtuelle, via des plateformes de vidéoconférence comme Zoom^® [5]. Ces adaptations, nécessaires dans le contexte, posent des questions importantes autour des enjeux de notation, de généralisation, d’extrapolation et même d’implication.

En effet, les tests de jugement situationnel effectués en ligne ne permettent pas d’évaluer une interaction entre deux ou trois personnes et sont fort probablement moins « authentiques » que les tâches réalisées dans le cadre de mini-entrevues multiples (MEM) ou d’entrevues de sélection structurées. Les tests de jugement situationnel sont le plus souvent utilisés à des fins de présélection, mais pèsent rarement aussi lourd que cette année dans la décision d’offres d’admission. Le poids qui leur est accordé dans le processus de sélection soulève donc des questions en lien avec la notation.

Par ailleurs, les mêmes interrogations se posent dans le cadre d’entrevues réalisées de façon virtuelle, au cours desquelles des interactions simulées avec des acteurs ou des patients n’étaient pas possibles en raison des contraintes logistiques [5]. S’y ajoutent dans ce dernier cas, des enjeux de généralisation liés au biais généré par l’usage de la vidéoconférence, qui a pu désavantager certains candidats. À court terme, pour l’implantation des entrevues virtuelles, il apparaît donc essentiel pour les institutions universitaires d’assurer une certaine uniformité dans les outils technologiques utilisés (par exemple, Skype^® ou Zoom^®) et de former les évaluateurs et les candidats quant à l’utilisation de ces outils dans une perspective d’équité. Plusieurs publications suggèrent des astuces afin de faciliter le processus, qui devraient être adaptées et distribuées aux parties prenantes [6–8]. À titre d’exemple, des conseils minimaux sur le « décor » de l’entrevue, les réglages de la luminosité, le contrôle du son ou l’attitude à prendre devant la caméra permettront d’assurer une certaine équité dans la forme que prendront ces entretiens.

Globalement, les mesures de contingence utilisées en réponse à la pandémie font appel à des outils plus éloignés des tâches réelles attendues d’un médecin en pratique. Ceci restreint donc les construits « pertinents » qui sont évalués dans le processus et soulève des questions sur les possibilités d’extrapoler ces résultats aux performances réelles durant la formation en sciences de la santé ou en médecine, et donc de bien choisir les candidats. L’utilisation de plateforme pour les tests de jugement situationnel, qui exigent un discours écrit de la part des candidats, et non une performance réelle, n’assurent pas un comportement conforme à ce qui est écrit, mais laissent une place importante à la désirabilité sociale (écrire ce qu’on croit que le correcteur voudra lire). Les entrevues à l’aide d’une plateforme virtuelle permettent de constater une certaine authenticité, mais elles pourraient être inhibantes pour certains candidats.

En termes d’implication, l’annulation des entrevues de sélection permettra à certaines institutions de réaliser des économies significatives et fera également économiser des frais de déplacement et d’hébergement à de nombreux candidats. Au moment où la « validité incrémentielle » (la « plus-value ») [2] de certains outils de sélection est encore grandement remise en question, l’éventualité d’une cohorte sélectionnée à moindre coût et dont les performances seraient équivalentes à celles des années précédentes risque d’entraîner une profonde réflexion sur le rapport coût-bénéfice de certains outils, notamment les entrevues en présence. Ce rapport coût-bénéfice est souvent mis en tension avec l’acceptabilité, voire la validité, de procédures qui sélectionneraient des candidats sans les avoir rencontrés en personne, au préalable. En revanche, ce recours massif aux moyens technologiques, bien qu’il puisse être avantageux d’un point de vue économique, pointe l’émergence de nouvelles inégalités potentielles, notamment dues à un accès limité à des moyens technologiques performants pour certains candidats (connexion haute vitesse, caméra et micro de bonne qualité, etc.).

Pistes de validation des outils de sélection en temps de pandémie

Considérant les nombreux changements effectués dans les processus de sélection pour l’admission 2020 et les changements à venir dans les années suivantes, il sera essentiel de suivre les cohortes sélectionnées selon ces processus et de les comparer aux cohortes précédentes choisies selon le processus « habituel », autant en termes de performances académiques, de bien-être durant leurs études que de composition sociodémographique.

Des projets de recherche évaluatifs doivent se mettre en place rapidement afin d’être en mesure de s’assurer, après la tourmente, de pouvoir tirer des leçons des nombreuses études de cohortes naturellement formées par les mesures de contingence. Le rôle des tests de jugement situationnel et des tirages au sort pourra probablement être éclairci grâce à ces recherches. En effet, il n’apparaît pas impossible que des éléments de « loterie » soient intégrés dans les processus pour certains sous-groupes bien ciblés (par exemple, lorsqu’ils sont près du seuil d’admission). Après tout, les Pays-Bas ont longtemps utilisé ce principe avec des résultats satisfaisants, bien qu’il soit difficile à défendre sur le plan politique [9].

Conclusion

Les contraintes actuelles liées à la pandémie posent plusieurs défis en lien avec l’utilisation et la validation des outils de sélection habituellement utilisés pour l’admission dans les programmes de médecine, que ce soit en termes de notation, de généralisation, d’extrapolation ou d’implication. Ces répercussions se feront également sentir dans plusieurs autres contextes où un processus de sélection est nécessaire, par exemple en formation médicale postdoctorale [10], ou dans d’autres secteurs des sciences de la santé. Néanmoins, les circonstances occasionnées par la pandémie de la COVID-19 nous offrent une opportunité unique d’apprentissage et certaines pratiques instaurées dans l’urgence pourront vraisemblablement être pérennisées dans une perspective de gestion de ressources, mais surtout d’équité pour les candidats.

Contributions

Jean-Michel Leduc a eu l’idée originale de ce manuscrit, a produit la première version et a participé à la révision du manuscrit. Christian Bourdy a participé à la révision du manuscrit. Nathalie Loye a écrit une partie du manuscrit et a participé à la révision de celui-ci. Tous les auteurs ont participé à la révision finale du manuscrit et ont approuvé le texte définitif.

Approbation éthique

Non sollicitée car sans objet.

Liens d’intérêts

Aucun auteur ne déclare de conflit d’intérêt en lien avec le contenu de cet article.

Références