EDP Sciences logo
Subscriber Authentication Point
Rechercher
Menu
Accueil Tous les numéros Volume 24 / Numéro 4 (2023) Pédagogie Médicale, 24 4 (2023) 229-240 Full HTML
Free Access
Issue
Pédagogie Médicale
Volume 24, Number 4, 2023
Page(s) 229 - 240
Section Recherche et Perspectives
DOI https://doi.org/10.1051/pmed/2023009
Published online 13 juillet 2023

© SIFEM, 2023

Introduction

Contexte de formation

Les années 2015/2016 ont marqué un tournant majeur dans l’histoire de la physiothérapie française, caractérisé par une nouvelle définition de la profession, une réforme de la formation initiale et la publication d’un nouveau référentiel de formation. Ces éléments font apparaître un nouvel attendu du physiothérapeute [1], axé sur les notions d’autonomie, de responsabilité et de premier recours. La formation initiale s’engage donc dans une mutation vers ce nouveau paradigme. Aussi doit-elle intégrer de nouveaux concepts structurants tels que la compétence, le raisonnement clinique, l’incertitude et l’Evidence-Based Practice (EBP), et favoriser l’apprentissage en situation complexe, associant incertitude et prise de décision.

Les activités par concordance de script

Se basant sur la théorie des scripts [2] et le processus de raisonnement clinique [3], les activités en lien avec l’approche par concordance de scripts placent l’apprenant face à des situations relatées proches de la réalité clinique et en contexte d’incertitude [4,5]. Deux types d’activités par concordance sont décrites : d’une part, les tests de concordance de script (TCS) qui sont utilisés dans un objectif d’évaluation sommative et, d’autre part, les formations par concordance (FpC) qui sont davantage dévolues à un objectif de formation, en fournissant une rétroaction formative grâce à l’accès aux justifications des membres du panel de référence, lesquels explicitent leurs choix [6]. Concernant les TCS, bien que la pertinence de leur emploi dans le cadre d’une évaluation à interprétation normative (classement) ou à visée certificative ait pu être questionnée [7,8], ils conservent un intérêt pour une visée de diagnostic pédagogique, c’est-à-dire une évaluation permettant la reconnaissance précoce des difficultés de raisonnement clinique d’un apprenant en vue de l’établissement d’un plan pédagogique individualisé [9]. C’est dans cette visée que la présente étude mobilise les TCS comme outils de mesure prédictive [10] et de suivi [11] du raisonnement clinique de l’apprenant. L’usage des TCS est très peu décrit en physiothérapie [12] et n’a pas été étudié en physiothérapie française. Les expériences françaises de TCS en médecine ayant montré un accueil pouvant être mitigé [13,14], la question de l’intégration et de l’acceptabilité des TCS dans la formation initiale en physiothérapie française semble donc posée.

Objectif

Cette étude avait pour objectifs : (1) d’étudier la faisabilité de création et d’administration d’une séquence de TCS dans le contexte de formation initiale de physiothérapie française ; (2) d’étudier la qualité de la séquence créée ; et (3) d’étudier l’acceptabilité de ce dispositif pour la population d’étudiants.

Méthodes

Type d’étude

Il s’agissait d’une étude observationnelle multicentrique, répartie sur quatre sites de formation initiale en physiothérapie française. Les instituts concernés étaient situés en France à Besançon, Orléans, Paris-Saint-Maurice et La Réunion.

Équipe de recherche

Cette étude a été réalisée par une équipe de recherche de cinq enseignants en physiothérapie, exerçant chacun, respectivement, dans un des instituts concernés par cette étude et ayant ou ayant eu une expérience clinique dans le champ musculo-squelettique. Aucun des membres n’avait construit de TCS auparavant.

Ce travail a été réalisé sans financement dédié et sur le temps libre des enseignants. L’analyse statistique de la fidélité et de la validité a été réalisée par une statisticienne indépendante de l’équipe.

Populations

La population cible était constituée par les étudiants de dernière année (cinquième année) en formation initiale de physiothérapie française. L’échantillon dit « étudiants » a été recruté dans les quatre sites de formation concernés par cette recherche, sur la base du volontariat. Tous les étudiants volontaires ont été inclus.

Le panel de référence, appelé « groupe panel », a été recruté dans le réseau de l’équipe d’enseignants selon les critères suivants : être physiothérapeute diplômé ; avoir au minimum trois ans d’expérience clinique dans le champ musculo-squelettique ; être en activité clinique dans ce champ ; être membre d’une société savante spécifique de ce champ et reconnue par la Société française en physiothérapie et avoir réalisé une ou plusieurs formations continues relevant d’une démarche EBP.

Une troisième population a été sollicitée afin de permettre l’évaluation de la validité. L’échantillon recruté, dit « professionnels », était constitué de professionnels physiothérapeutes diplômés en 2010, 2011, 2016 et 2017 dans les mêmes instituts que ceux des étudiants. Ils n’avaient pas l’obligation d’avoir une expérience confirmée dans le champ concerné. Le recrutement s’est fait par courriel sur la base du volontariat.

Un groupe « répondants » a été créé, pour des besoins statistiques et logistiques. Il était constitué de la somme des groupes « étudiants » et « professionnels ».

Étude de la faisabilité : création, administration des TCS et calcul des scores

Création et développement de la séquence de TCS (Figure 1)

Développement du contenu

La finalité de l’étude était de pouvoir réaliser une séquence de TCS dans le champ musculo-squelettique dont les résultats pourraient contribuer à évaluer les étudiants sur l’ensemble de ce champ clinique. Les trois objectifs de diagnostic, d’investigation ou d’intervention ont été concernés. Les situations cliniques créées devaient être réalistes. Un objectif final de 25 vignettes cliniques comportant chacune trois items soit un total de 75 items a été fixé [5]. De même, un objectif minimum de 15 panélistes a été fixé pour le panel de référence [15]. La structuration des vignettes devait respecter la méthode de référence [5,15,16]. L’échelle de Likert standard a été utilisée pour les réponses.

Une table de spécification a été créée en se basant sur le référentiel de formation, ainsi que sur les unités d’enseignement propres au champ musculo-squelettique, dispensées dans les instituts des cinq enseignants constituant l’équipe de recherche. Le choix d’un classement par région anatomique a été réalisé. La répartition des 25 vignettes créées était de trois situations pour chacune des régions (cervicale, lombaire/bassin, épaule, coude, poignet, main, hanche, genou, cheville et pied). Chaque situation a été déclinée au regard des trois objectifs de diagnostic, d’investigation et d’intervention [15], à raison de trois items par objectif. Parmi ces 225 items créés, une sélection de 75 items a été réalisée pour créer la séquence en se basant sur une grille qualité [17]. Chaque situation créée répondait à un seul objectif décliné en trois items. La répartition finale était de trois vignettes pour les régions cervicale, lombaire, épaule, coude, hanche, genou, cheville, de deux vignettes pour la main et d’une vignette pour le poignet et le pied. Elles étaient réparties en neuf vignettes de diagnostic, huit d’investigation et huit d’intervention. Une relecture et une correction des vignettes sélectionnées ont été réalisées par les membres de l’équipe de recherche après la sélection.

Vignette : Figure 1 Reportez-vous à la légende suivante et au texte qui l'entoure. Figure 1

Schéma représentant le processus de création et d’optimisation de la séquence de tests de concordance de scripts.
Formalisation du test

La séquence de TCS a été formalisée sous Google Form® en deux versions différentes. La version « panel » incluait la justification des réponses des panélistes en vue d’améliorer le processus d’optimisation ; la version « répondants » n’incluait pas la justification des réponses, conformément à un TCS classique. Un format papier a par ailleurs été créé pour parer à tout problème de connexion lors de l’administration au groupe « étudiants ».

Formation

Un support pédagogique vidéo sur le concept des TCS et sur son administration a été réalisé. Il a été transmis aux trois groupes, trois semaines avant l’administration du test. Un autre support vidéo présentant une synthèse des points-clés de l’administration a été transmis de manière concomitante.

Recrutement des répondants et administration

Dix-huit panélistes ont été recrutés et ont réalisé le test en format numérique entre le 27 octobre et le 23 décembre 2018.

Le test a été administré au groupe « étudiants » en présence le 12 novembre 2018. Deux instituts l’ont administré en format numérique et deux autres en format papier du fait d’une connexion défaillante.

Le groupe « professionnels » a été contacté par courriel à partir de leurs coordonnées archivées dans leur institut d’origine. Le test leur a été administré à distance, entre le 29 novembre 2018 et le 22 décembre 2018, en format numérique.

Optimisation

L’optimisation s’est déroulée en deux phases par des analyses post-hoc [15].

La première phase s’est basée sur les réponses du panel de référence. Premièrement, les items pour lesquels certains panélistes n’ont pas répondu ont été exclus. Deuxièmement, les items ayant donné des réponses avec une répartition bimodale ont fait l’objet d’un arbitrage : la valeur encadrée par le plus grand nombre de réponses a été choisie, dans une logique de répartition normale des résultats. Un item qui présentait une répartition bimodale symétrique a été exclu car la règle d’arbitrage ne pouvait pas s’appliquer. Troisièmement, l’étude de la déviance des membres du panel a été réalisée. Aucun membre du panel n’a été considéré comme déviant car aucun n’avait de score ayant plus de deux écart-types de différence à la moyenne [15]. Enfin, pour chaque item et chaque panéliste, la cohérence entre sa réponse et sa justification a été évaluée. Cette étape, qui n’est pas décrite à notre connaissance dans la littérature, s’est révélée être extrêmement précieuse comme contrôle qualité et a permis d’exclure un panéliste n’ayant manifestement pas compris le principe du test (incohérence sur une majorité des items répondus entre la notation et sa justification).

La seconde phase d’optimisation s’est basée sur les réponses des trois populations. Les données de fidélité corrélation item-total ont été calculées en excluant l’item étudié du total afin de ne pas surévaluer artificiellement la corrélation. Les items ayant une corrélation item-total négative ont été exclus. Pour le groupe « panel », le seuil de corrélation item-total de 0,1 habituellement recommandé a été abaissé à zéro pour préserver une validité de contenu [15].

Les réponses du panel montrent qu’aucun item ne présentait de réponse unanime. Par ailleurs, certains items, bien qu’ayant une valeur modale, présentaient des réponses assez hétérogènes. Une analyse de l’erreur quadratique moyenne a été réalisée. Sept items présentaient une variabilité forte (> 1). Le panel de référence étant supérieur à 15 membres, les exclure aurait été inutile et sans impact significatif [18]. Ils ont donc été conservés.

Étalonnage

L’étalonnage du test a consisté à dégager la réponse modale et les autres réponses possibles [18].

Calcul des scores

Le codage de chaque item a été réalisé en attribuant une note à chaque réponse de l’item, selon la méthode de crédit partiel (partial credit) [5]. Par la suite, la moyenne des scores de chaque item a été calculée pour les groupes « panel », « étudiants », « professionnels » et « répondants ».

Analyse des données

L’étude de la faisabilité visait à évaluer s’il était possible de réaliser l’intégralité des étapes de développement et d’administration de la séquence dans le contexte spécifique de la formation initiale en physiothérapie française. Différents critères ont été pris en compte tels que le coût, le temps de travail, les contraintes organisationnelles, les ressources humaines nécessaires [13], mais aussi l’effectivité de la réalisation de chacune des étapes : création de la séquence, recrutement du panel, étalonnage de la séquence, création de l’outil informatique, recrutement des étudiants, administration et traitement des données. L’équipe de recherche, composée exclusivement d’enseignants en physiothérapie, était ainsi représentative des présupposés acteurs du développement et de la mise en place des activités par concordance dans la formation initiale en physiothérapie.

Étude de la qualité de la séquence optimisée

Recueil des données

L’étude de la qualité de la séquence créée s’est basée sur : (1) les données de l’administration aux différentes populations qui ont été analysées sur les logiciel Excel et R’ grâce à un calculateur spécifique [19] ; (2) le recueil de la représentation des populations sur la qualité de l’outil qui a été investiguée à travers un questionnaire d’opinion (Tableau I). Ce questionnaire a été envoyé sous format Google Form® 15 jours après l’administration, pour les groupes « panel » et « étudiants ». Le groupe « professionnels » n’a pas été sollicité pour des raisons organisationnelles. L’objectif était de recueillir des données quantitatives et qualitatives afin d’évaluer la qualité de la séquence. Le tableau I synthétise le contenu des différentes questions posées.

Tableau I

Questionnaire d’opinion sur la phase de formation et l’administration de la séquence de tests de concordance de script (TCS) – Synthèse des contenus, des populations et des objectifs visés.

Analyse des données

Analyse des données statistiques
Fiabilité (consistance interne)

La consistance interne a été évaluée par le calcul du coefficient alpha de Cronbach [15] pour les réponses formulées par le groupe « répondants ».

Validité

Elle a été évaluée grâce au logiciel R’ par la vérification de l’hypothèse des groupes ayant des niveaux différents a priori [20]. La comparaison des trois groupes a été calculée en excluant du calcul les items ayant une corrélation négative dans le groupe « répondants ». Le test non paramétrique de Kruskal-Wallis a été utilisé pour montrer l’existence d’une différence entre les groupes. Ensuite, le test non paramétrique de Wilcoxon a déterminé la significativité de la différence entre chaque groupe. Pour ces deux tests statistiques, un seuil de significativité a été fixé à une valeur-p inférieure ou égale à 0,05.

Analyse des questionnaires d’opinion

L’analyse des données quantitatives a été réalisée sous Excel. Les données qualitatives ont été extraites pour une analyse manuelle.

Étude de l’acceptabilité

L’acceptabilité [21,22] de l’implantation du dispositif a été évaluée sur les versants social et pratique [13,23,24]. Les éléments investigués concernaient l’opinion des populations « panel » et « étudiants » sur l’intérêt et la pertinence de ce dispositif dans la formation initiale, d’un point de vue technique, méthodologique et scientifique. Les critères précis sont présentés dans le tableau I. Les données concernant la formation préalable et l’administration du test ont été recueillies à travers un questionnaire d’opinion (Tableau I). L’analyse des données quantitatives a été réalisée sous Excel et les données qualitatives ont été extraites pour une analyse manuelle. L’autorisation pour réaliser cette expérimentation dans les trois instituts a été sollicitée et obtenue auprès des directeurs respectifs. Le groupe « professionnels » n’a pas été sollicité.

Résultats

Optimisation de la séquence

Au terme de l’optimisation de la séquence, 16 panélistes sur 18 ont été retenus et neuf items ont été exclus, portant la séquence optimisée à 66 items.

Étude de la faisabilité

L’équipe de recherche a été en mesure de réaliser toutes les étapes attendues. Sur les 220 étudiants auxquels le test a été administré, 206 avaient des résultats exploitables pour un temps moyen de réponse de 42 minutes. Les 51 professionnels ayant répondu avaient des résultats exploitables. Les résultats des scores et leur dispersion sont présentés sur la figure 2. Le réseau propre à l’équipe de recherche a été suffisant pour le recrutement des panélistes.

Vignette : Figure 2 Reportez-vous à la légende suivante et au texte qui l'entoure. Figure 2

Représentation sous forme de boîtes à moustache, de la moyenne (en pourcentage) et de l’écart-type des scores obtenus par chacune des trois populations.

Étude de la qualité du dispositif

Fiabilité (consistance interne)

Le coefficient alpha de Cronbach de la séquence optimisée était de 0,60 pour le groupe « répondants ».

Validité

Le résultat du test Kruskal-Wallis était de 14,327 (degré de liberté = 2) avec une valeur-p = 0,001. Il existe donc une différence significative entre les trois groupes.

La réalisation du test de Wilcoxon (Tableau II) montre que les différences entre les scores des « étudiants » et du « panel » (p = 0,001), ainsi qu’entre les groupes « professionnels » et « panel » (p = 0,022) sont significatives. Même si elle n’est pas strictement significative (p = 0,086), la différence entre les groupes « professionnels » et « étudiants » illustre une tendance similaire. De plus, le score du groupe « panel » est meilleur que celui du groupe « professionnels » qui est lui-même meilleur que celui du groupe « étudiants ». Cela confirme l’hypothèse de groupes différents a priori.

Tableau II

Comparaison des scores obtenus respectivement par les groupes « étudiants », « panel » et « professionnels » aux tests de concordance scripts (valeur-p du test de Wilcoxon).

Opinions des populations sur la qualité du dispositif

Neuf panélistes (56,3 %) et 128 étudiants (62,1 %) ont répondu au questionnaire entre le 26 novembre 2018 et le 31 décembre 2018.

Quatre questions fermées concernaient les deux groupes.

Utilité et pertinence des vidéos de formation

Les panélistes ont estimé utiles les vidéos de formation (100 % « utile ou très utile ») ; le ressenti est plus hétérogène chez les étudiants (53 % « utile ou très utile »).

Pertinence des hypothèses proposées pour chacune des catégories

Pour 77,6 % des panélistes, les hypothèses de diagnostic et d’investigation sont les plus pertinentes. Celles d’intervention ont été jugées moyennement moins pertinentes car plus éloignées de leur pratique quotidienne. Pour 96 % des étudiants, toutes les hypothèses sont pertinentes.

Difficultés à s’adapter et à répondre aux questions

Tous les répondants témoignent avoir eu quelques difficultés pour répondre mais seulement 10 % estiment avoir eu des difficultés importantes, principalement du fait de l’incertitude des situations proposées bien plus que de la nécessaire adaptabilité au format du TCS. Les commentaires soulignent la notion de courbe d’apprentissage primordiale pour comprendre le mécanisme de cet outil et le besoin d’être plus entraîné en amont. Par ailleurs, la formulation de la question et de l’ancrage de l’échelle de Likert, telle que proposée, a fait l’objet de confusion car leur format standardisé n’était pas suffisamment explicite ni adapté à la spécificité de chaque objectif.

Recours au hasard et confiance dans les réponses

Les panélistes n’ont jamais ou rarement (22 %) répondu au hasard ; 88 % d’entre eux déclarent avoir très ou moyennement confiance en leurs réponses, ce qui pourrait confirmer le niveau avéré d’incertitude des vignettes. Pour leur part, 67 % des étudiants reconnaissent n’avoir jamais ou rarement répondu au hasard. Le cas échéant, la raison principale évoquée est un manque de connaissances (63 %), voire une mauvaise interprétation de la vignette (46 %).

Deux questions concernaient spécifiquement le groupe « étudiants ».

Influence des conditions d’administration sur l’expérience du test

Pour 20 % des étudiants, les conditions ont influencé négativement voire très négativement leur réflexion, principalement en raison de problèmes de connexion, d’un environnement jugé bruyant ou d’une période d’administration trop concomitante à celle des examens.

Concordance entre les scénarii et le curriculum de formation suivi

Quatre-vingts pour cent des étudiants estiment que les scénarii cliniques étaient en lien avec les connaissances acquises dans leur curriculum.

Acceptabilité

Acceptabilité pour les panélistes et les étudiants

Certaines questions fermées concernaient les deux groupes.

Intérêt des TCS

Les résultats concernant l’intérêt des TCS, notamment pour évaluer le raisonnement clinique et la pertinence de les pérenniser en formation initiale sont développés sur la figure 3. Les données montrent que la pertinence et l’intérêt de l’utilisation des TCS en formation initiale en physiothérapie sont majeurs.

Une question concernait spécifiquement le groupe « panel ».

Vignette : Figure 3 Reportez-vous à la légende suivante et au texte qui l'entoure. Figure 3

Opinions concernant l’intérêt des tests de concordance de script (TCS), leur pertinence pour évaluer le raisonnement clinique et la pertinence de les pérenniser en formation initiale, pour les deux groupes « panel » et « étudiants » en masso-kinésithérapie (MK).
Difficultés pour l’argumentation des réponses

La majorité des panélistes (56 %) ont parfois rencontré des difficultés pour argumenter leurs réponses.

Deux questions concernaient spécifiquement le groupe « étudiants ».

Sentiment de frustration de ne pas pouvoir argumenter

La séquence telle que proposée ne permettait pas aux étudiants d’argumenter leurs réponses. Trente pour cent d’entre eux s’en ressentent énormément ou très frustrés et 51 % moyennement ou un peu.

Charge cognitive

Les étudiants ont exprimé des difficultés liées à la charge cognitive. Celle-ci est expliquée par la nouveauté de l’outil TCS qui s’est avéré peu maîtrisé et cognitivement difficile mais aussi par le changement continu de situation clinique à chaque vignette et par la durée de l’épreuve jugée trop longue pour une première expérience.

Au regard de ces données, l’acceptabilité semble donc très bonne avec un point de vigilance à porter sur l’argumentation qui est jugée délicate par les panélistes et attendue pour les étudiants ainsi que sur l’organisation des vignettes qui doit éviter un surcoût de charge cognitive.

Acceptabilité pour la direction des instituts

Les directions des instituts concernés ont été favorables à l’implantation du dispositif auprès des étudiants de leur institut. Pour autant, parce qu’encore expérimental, il n’a remplacé aucun des enseignements ni aucune des évaluations initialement prévus dans le cursus. L’acceptabilité du dispositif est donc favorable pour les directions mais l’acceptabilité de l’implantation dans le curriculum n’a pas été démontrée dans cette étude.

Discussion

Principaux résultats

Il s’agit à notre connaissance de la première étude publiée concernant l’utilisation des TCS dans le contexte de la formation initiale en physiothérapie en France.

Faisabilité

Au regard de l’inexpérience de l’équipe d’enseignants, le temps de création a été très important et a nécessité un temps d’apprentissage conséquent. En effet, la calibration de la complexité et de l’incertitude des situations cliniques créées, ainsi que leurs liens avec la pratique quotidienne et les contenus pédagogiques délivrés, se sont avérés délicats. A contrario, le temps de correction a été très réduit au regard de sa modalité informatique. Le développement d’activités par concordance nous semble nécessiter la constitution d’une équipe référente disposant d’un temps spécifiquement dédié.

Le recrutement des panélistes, peu décrit dans la littérature, s’est révélé être une étape cruciale pour garantir une représentativité du modèle EBP. La définition des critères a fait l’objet de discussions importantes au sein de l’équipe pour arbitrer les critères d’inclusion car aucun critère de sélection émanant des instances représentatives n’était disponible.

Le contrôle de la cohérence entre la réponse choisie par le panéliste et son argumentation a permis d’exclure un panéliste qui n’avait manifestement pas compris le principe. Cette méthode semble particulièrement utile dans le cas de panélistes peu expérimentés, autant pour favoriser la qualité métrologique d’une activité TCS que pour la cohérence réponse-argumentation d’une activité de FpC. Toutefois, une telle analyse manuelle reste chronophage. Une alternative envisageable à cette procédure serait d’augmenter la formation des panélistes en vérifiant sur des items choisis au hasard leur bonne compréhension avant leur possible inclusion.

Bien que l’équipe ait créé un total de 225 items, seuls 75 ont été finalement retenus pour la séquence initiale. La phase d’optimisation ayant nécessité de retirer environ 15 % des items, seuls 66 items ont constitué la séquence optimisée. Une séquence initiale de 100 items aurait pu permettre de limiter cet effet [15].

Aucun moyen matériel ni financier, autre que ceux attribués à leur mission classique, n’a été mis à la disposition de l’équipe. Les ressources matérielles ont été essentiellement informatiques. L’utilisation de Google Form® a permis de conserver une gestion informatique interne à l’équipe et d’éviter le problème du coût financier. Toutefois, cet outil est peu adapté. Le développement récent d’une applicabilité des outils TCS et FpC sur la plateforme universitaire Moodle représente une réelle opportunité pour faciliter leur mise en œuvre, mais celle-ci reste dépendante d’un accès privilégié et d’un support technique.

Pris dans leur ensemble, les résultats de cette étude nous semblent documenter une bonne faisabilité.

Qualités psychométriques

La fidélité (consistance interne) a été examinée par le calcul du coefficient alpha de Cronbach de la séquence, qui était de 0,60. À notre connaissance, trois expérimentations publiées sont spécifiques à la physiothérapie [25–27]. Celle de Dumas [25], basée sur 67 items est la seule à avoir vérifié la consistance interne ; le coefficient alpha de Cronbach s’élevait à 0,68. Les résultats sont donc assez proches à des niveaux assez modérés mais généralement considérés comme acceptables [28].

La validité de contenu du dispositif a été recherchée par un travail de définition et de délimitation du contenu, qui a abouti à une table de spécification. Le respect de cette table lors de la conception des vignettes ainsi que le retour des étudiants montrent que l’objectif de cohérence entre table de spécification et curriculum de formation semble avoir été atteint. Toutefois, bien que 80 % des étudiants estiment que les scénarii étaient en phase avec leur curriculum de formation, 63 % ont perçu qu’ils avaient un manque de connaissances. La table de spécification telle que construite n’était donc pas suffisamment pertinente. En effet, pour les thématiques abordées, le volume horaire dédié à leurs enseignements par chaque institut était très hétérogène. Cet aspect est donc à prendre en compte pour de futures collaborations inter-instituts en instiguant une collaboration étroite entre les concepteurs de la vignette, les enseignants du domaine et les responsables de formation pour assurer la cohérence entre objectifs de formation, contenu et évaluation, et satisfaire ainsi au principe d’alignement pédagogique.

Par ailleurs, les différences statistiquement significatives entre les groupes, respectant un classement cohérent avec le niveau réel des groupes, est un argument en faveur de la validité de construit du dispositif, qui permet d’envisager son utilisation pour une visée de diagnostic pédagogique.

La qualité de la séquence nous semble donc améliorable mais recevable pour envisager un déploiement.

Acceptabilité

Les facteurs d’acceptabilité recueillis à travers les opinions des étudiants et des panélistes sont très favorables, certainement du fait du caractère formatif de cette première expérience d’administration, ce qui aurait pu être différent dans un contexte normatif [29]. Les limites évoquées par les étudiants et les panélistes correspondent à des freins à l’acceptabilité [23]. Leur prise en compte semble donc importante dans le cas d’un développement de cet outil. À cette fin, il s’agira notamment de renforcer la formation avec plusieurs sessions de prises en main pour faciliter l’appropriation des TCS, d’utiliser des échelles de Likert spécifiques aux objectifs ou la nouvelle échelle standardisée [6] et enfin de solliciter un panel de référence sur des sessions successives de passation/argumentation limitées entre 10 et 15 vignettes. Au total, l’acceptabilité semble favorable dans une visée de déploiement en formation initiale.

Limites de l’étude

Quatre limites sont à mentionner :

  • l’équipe d’enseignants n’avait aucune expérience des TCS, ce qui a pu altérer la création des vignettes ;

  • la création de la table de spécification s’est révélée insuffisamment précise pouvant limiter la validité ;

  • la vérification de la compréhension de la réalisation du test n’a été que déclarative, autant pour les panélistes que pour les répondants. Par ailleurs, les panélistes ayant des justifications incohérentes n’ont pas été consultés pour discuter de ces incohérences ;

  • les conditions d’administration du test ont été hétérogènes entre les instituts.

Perspectives

Cette expérimentation a utilisé une méthode peu commune car répondant aux contraintes mixtes du TCS et de la FpC (c’est-à-dire, respectivement, un grand nombre de panélistes et une possibilité d’argumentation des réponses). S’astreindre à autant de contraintes présente-t-il un intérêt ? À notre avis, les TCS et la FpC sont complémentaires et peuvent coexister pour leurs qualités respectivement normative et formative. Les construire en répondant d’emblée à l’association de leur cahier des charges permet à la fois de couvrir en un seul processus de création des utilisations en lien avec des finalités à la fois sommative et formative. De plus, cela favorise une perspective collaborative à moyen terme. En effet, la création de vignettes et leur étalonnage demandent du temps et de la compétence. Cela est en soi une limite importante à l’expansion des activités par concordance. Cependant, le partage de banques de vignettes répondant uniformément aux exigences relatives au TCS et à la FpC permettrait de favoriser leur utilisation par un plus grand nombre de structures de formation. Le développement d’une communauté Moodle ciblée sur le développement d’une application informatique spécifique aux activités par concordance, permettant de faciliter la création à distance, l’administration, l’évaluation, le partage de données est un levier de choix vers une dynamique de collaboration internationale.

La deuxième perspective est l’utilisation du TCS comme outil de triage. En effet, de par son automatisation et son faible coût, le TCS pourrait être utilisé afin de cerner les champs ou domaines déficitaires pour chaque étudiant. Ainsi, ce diagnostic pédagogique individualisé [9] permettrait de proposer des activités de FpC ciblées sur les besoins réels de l’étudiant. De même, ce diagnostic pourrait être fort utile en tant qu’outil de triage pour la simulation. À cette fin, les étudiants pourraient être répartis en groupes, en fonction de leurs besoins communs, afin de pouvoir bénéficier de séances de simulation spécifiques conçues dans une perspective constructiviste. Cela permettrait d’optimiser les inconvénients majeurs de la simulation, son coût et son caractère chronophage, en proposant des séquences dont la pertinence est alors avérée pour chaque étudiant.

Enfin, l’utilisation inter-instituts de ce dispositif laisse envisager l’utilisation des résultats à des fins d’évaluation de la qualité de la formation proposée. En effet, la comparaison des résultats aux TCS avec la stratégie pédagogique optée au sein de chaque institut (par exemple, la quantité horaire dédiée à tel enseignement, le type d’approche pédagogique, le format des évaluations…) permettrait de fournir des données contributives à l’évaluation du dispositif de formation.

Conclusion

Dans le cadre d’un projet pilote conduit dans cinq instituts français de formation initiale en physiothérapie, l’étude rapportée dans la présente contribution a montré la faisabilité et l’acceptabilité d’un programme consistant à élaborer et administrer un dispositif d’évaluation recourant au TCS. Tout en identifiant certaines pistes d’amélioration, elle a aussi permis de vérifier que le dispositif produit satisfaisait de façon raisonnable aux exigences psychométriques, en termes de validité et de fidélité. De tels résultats permettent d’envisager son déploiement à large échelle. Le TCS reste actuellement un des rares outils pouvant répondre au cahier des charges d’une formation au raisonnement clinique en contexte d’incertitude [30], à distance et pour de grands effectifs. Compte tenu des répercussions observées lors de la pandémie récente, ce sont des arguments majeurs en vue de son développement.

Remerciements

Les auteurs remercient les étudiants de cinquième année (promotion 2018/2019) des quatre instituts sollicités, les membres du panel de référence et les professionnels sollicités. Ils remercient également Bernard Charlin, Robert Gagnon et Marc Briot, pour leur soutien méthodologique, statistique et technologique.

Contributions

Yannick Perdrix, Raphael Grellet, Sébastien Martin, Frédéric Launay et Valérie Barthelet ont participé à la conception du protocole de recherche, au recueil des données, à l’interprétation des résultats. Yannick Perdrix a rédigé la version initiale du manuscrit et apporté les modifications successives liées aux révisions. Raphael Grellet, Sébastien Martin, Frédéric Launay et Valérie Barthelet ont réalisé les révisions intermédiaires. Tous les auteurs ont participé à l’approbation de la version finale.

Approbation éthique

Cette étude concerne un dispositif d’évaluation formative, inclus dans les heures réglementaires du cursus de formation, qui a fait l’objet d’une enquête à l’aide d’un questionnaire facultatif. En lien avec les dispositions réglementaires en vigueur en France, le protocole d’étude n’a donc pas été soumis à l’approbation préalable d’un comité de protection des personnes ou d’un comité d’éthique. Les participants ont donné leur accord pour une utilisation de leurs données à des fins de recherche.

Valorisation scientifique

Une partie de ce travail a fait l’objet d’un poster scientifique lors des Journées francophones de la kinésithérapie en février 2019.

Liens d’intérêts

Aucun auteur ne déclare de conflit d’intérêts en lien avec le contenu de cet article.

Références

  1. Signeyrole J. En quoi une réforme peut-elle changer les pratiques de formation ? Une question de lecture et de perspectives. Kinesither Rev 2015;15:37‐41. [Google Scholar]
  2. Charlin B, Boshuizen HPA, Custers EJ, Feltovich PJ. Scripts and clinical reasoning. Med Educ 2007;41:1178‐84. [CrossRef] [PubMed] [Google Scholar]
  3. Charlin B, Lubarsky S, Millette B, Crevier F, Audétat MC, Charbonneau A, et al. Clinical reasoning processes: unravelling complexity through graphical representation: clinical reasoning: graphical representation. Med Educ 2012;46:454‐63. [CrossRef] [PubMed] [Google Scholar]
  4. Charlin B, Roy L, Brailovsky C, Goulet F, van der Vleuten C. The Script Concordance Test: a tool to assess the reflective clinician. Teach Learn Med 2000;12:189‐95. [CrossRef] [PubMed] [Google Scholar]
  5. Dory V, Gagnon R, Vanpee D, Charlin B. How to construct and implement script concordance tests: insights from a systematic review: construction and implementation of script concordance tests. Med Educ 2012;46:552‐63. [CrossRef] [PubMed] [Google Scholar]
  6. Charlin B, Deschênes MF, Dumas JP, Lecours J, Vincent A.-M. Kassis J, et al. Concevoir une formation par concordance pour développer le raisonnement professionnel : quelles étapes faut-il parcourir ? Pédagogie Médicale 2018;19:143‐9. [CrossRef] [EDP Sciences] [Google Scholar]
  7. Lineberry M, Kreiter CD, Bordage G. Threats to validity in the use and interpretation of script concordance test scores. Med Educ 2013;47:1175‐83. [CrossRef] [PubMed] [Google Scholar]
  8. Lineberry M, Hornos E, Pleguezuelos E, Mella J, Brailovsky C, Bordage G. Experts’ responses in script concordance tests: a response process validity investigation. Med Educ 2019;53:710‐22. [CrossRef] [PubMed] [Google Scholar]
  9. Audétat MC, Laurin S, Dory V, Charlin B, Nendaz MR. Diagnosis and management of clinical reasoning difficulties: part I. Clinical reasoning supervision and educational diagnosis. Med Teach 2017;39:792‐6. [CrossRef] [PubMed] [Google Scholar]
  10. Brailovsky C, Charlin B, Beausoleil S, Coté S, Van der Vleuten C. Measurement of clinical reflective capacity early in training as a predictor of clinical reasoning performance at the end of residency: an experimental study on the script concordance test. Med Educ 2001;35:430‐6. [CrossRef] [PubMed] [Google Scholar]
  11. Ramaekers S, Kremer W, Pilot A, van Beukelen P, van Keulen H. Assessment of competence in clinical reasoning and decision-making under uncertainty: the script concordance test method. Assess Eval High Educ 2010;35:661‐73. [CrossRef] [Google Scholar]
  12. Dumas JP, Blais JG, Charlin B. Script concordance test: can it be used to assess clinical reasoning of physiotherapy student? Physiotherapy 2015;101(Suppl. 1):e332‐e333. [CrossRef] [Google Scholar]
  13. Charlin B, Fernandez N. Préparer et animer une formation par concordance. In : Pelaccia T (sous la direction de). Comment (mieux) former et évaluer les étudiants en médecine et en sciences de la santé ? Louvain-la-Neuve : De Boeck Supérieur, 2016;9319:33. [Google Scholar]
  14. Peyrony O, Hutin A, Truchot J, Borie R, Calvet D, Albaladejo A, et al. Impact of panelists’ experience on script concordance test scores of medical students. BMC Med Educ 2020;20:313. [CrossRef] [PubMed] [Google Scholar]
  15. Lubarsky S, Dory V, Duggan P, Gagnon R, Charlin B. Script concordance testing: from theory to practice: AMEE guide No. 75. Med Teach 2013;35:184‐93. [CrossRef] [PubMed] [Google Scholar]
  16. Fournier JP, Demeester A, Charlin B. Script Concordance Tests: guidelines for construction. BMC Med Inform Decis Mak 2008;8:18. [CrossRef] [PubMed] [Google Scholar]
  17. Carrière B, Caire F. Grille de contrôle de la qualité d’un test de concordance de script. Centre de pédagogie appliquée aux sciences de la santé. Montréal : Université de Montréal [On-line]. Disponible sur : http://www.cpass.umontreal.ca/wp-content/uploads/sites/70/2016/03/grille_qualite_TCS.pdf. [Google Scholar]
  18. Gagnon R, Lubarsky S, Lambert C, Charlin B. Optimization of answer keys for script concordance testing: should we exclude deviant panelists, deviant responses, or neither? Adv Health Sci Educ Theory Pract 2011;16:601‐8. [CrossRef] [PubMed] [Google Scholar]
  19. Centre de pédagogie appliquée aux sciences de la santé. Obtenir les scores de vos TCS par voie informatique. Montréal : Université de Montréal [On-line]. Disponible sur : https://cpass.umontreal.ca/recherche/axes-de-recherches/concordance/tcs/corriger_tcs/. [Google Scholar]
  20. Charlin B, Brailovsky C, Leduc C, Blouin D. The Diagnosis Script Questionnaire: a new tool to assess a specific dimension of clinical competence. Adv Health Sci Educ Theory Pract 1998;3:51‐8. [CrossRef] [PubMed] [Google Scholar]
  21. Hornos EH, Pleguezuelos EM, Brailovsky CA, Harillo LD, Dory V, Charlin B. The Practicum Script Concordance Test: an online continuing professional development format to foster reflection on clinical practice. J Contin Educ Health Prof 2013;33:59‐66. [CrossRef] [PubMed] [Google Scholar]
  22. Bottet B, Selim J, Peillon C, Baste J-M, Schwarz L, Renaux-Petel M, et al. Évaluation objective structurée des habiletés techniques des internes de chirurgie en phase socle. Expérience monocentrique portant sur trois cohortes au Medical Training Center de Rouen. Pédagogie Médicale 2019;20:163‐75. [CrossRef] [EDP Sciences] [Google Scholar]
  23. Bobillier-Chaumon MÉ, Dubois M. L’adoption des technologies en situation professionnelle : quelles articulations possibles entre acceptabilité et acceptation ? Le Travail Humain 2009;72:355‐82. [Google Scholar]
  24. Dubois M, Bobillier-Chaumon MÉ. L’acceptabilité des technologies : bilans et nouvelles perspectives. Le Travail Humain 2009;72:305‐10. [Google Scholar]
  25. Dumas JP. L’évaluation du raisonnement clinique en physiothérapie. Thèse pour le grade de Philosophia Doctor (PhD). Montréal : Université de Montréal, 2016 [On-line]. Disponible sur : https://papyrus.bib.umontreal.ca/xmlui/handle/1866/18597?locale-attribute=fr. [Google Scholar]
  26. Elvén M, Hochwälder J, Dean E, Söderlund A. Development and initial evaluation of an instrument to assess physiotherapists’ clinical reasoning focused on clients’ behavior change. Physiother Theory Pract 2018;34:367‐83. [CrossRef] [PubMed] [Google Scholar]
  27. Otterman N, Maas M, Schiemanck S, van der Wees P, Kwakkel G. Development and validity of an innovative test to assess guideline-consistent clinical reasoning by physical therapists in stroke rehabilitation. J Rehabil Med 2019;51:418‐25. [PubMed] [Google Scholar]
  28. Taber KS. The use of Cronbach’s alpha when developing and reporting research instruments in science education. Res Sci Educ 2018;48:1273‐96. [CrossRef] [Google Scholar]
  29. Custers EJFM. The script concordance test: an adequate tool to assess clinical reasoning? Perspect Med Educ 2018;7:145‐6. [CrossRef] [PubMed] [Google Scholar]
  30. Charlin B, Fernandez N. Former et évaluer par concordance : des modalités éducatives complémentaires. Pédagogie Médicale 2022;23:131‐3. [CrossRef] [EDP Sciences] [Google Scholar]

Citation de l’article : Perdrix Y, Grellet R, Martin S, Launay F, Barthelet V. La physiothérapie française est-elle prête à intégrer des tests de concordance de script dans sa formation initiale ? Étude de faisabilité et d’acceptabilité. Pédagogie Médicale 2023:24;229-240

Liste des tableaux

Tableau I

Questionnaire d’opinion sur la phase de formation et l’administration de la séquence de tests de concordance de script (TCS) – Synthèse des contenus, des populations et des objectifs visés.

Dans le texte
Tableau II

Comparaison des scores obtenus respectivement par les groupes « étudiants », « panel » et « professionnels » aux tests de concordance scripts (valeur-p du test de Wilcoxon).

Dans le texte

Liste des figures

Vignette : Figure 1 Reportez-vous à la légende suivante et au texte qui l'entoure. Figure 1

Schéma représentant le processus de création et d’optimisation de la séquence de tests de concordance de scripts.
Dans le texte
Vignette : Figure 2 Reportez-vous à la légende suivante et au texte qui l'entoure. Figure 2

Représentation sous forme de boîtes à moustache, de la moyenne (en pourcentage) et de l’écart-type des scores obtenus par chacune des trois populations.
Dans le texte
Vignette : Figure 3 Reportez-vous à la légende suivante et au texte qui l'entoure. Figure 3

Opinions concernant l’intérêt des tests de concordance de script (TCS), leur pertinence pour évaluer le raisonnement clinique et la pertinence de les pérenniser en formation initiale, pour les deux groupes « panel » et « étudiants » en masso-kinésithérapie (MK).
Dans le texte

Current usage metrics show cumulative count of Article Views (full-text article views including HTML views, PDF and ePub downloads, according to the available data) and Abstracts Views on Vision4Press platform.

Data correspond to usage on the plateform after 2015. The current usage metrics is available 48-96 hours after online publication and is updated daily on week days.

Initial download of the metrics may take a while.