Fidélité d’une grille d’évaluation de sites Internet de formation médicale

Reliability of an assessment checklist for medical education websites

Médecins francophones du Canada, Montréal, Canada

Correspondance et offprints : Diane Poirier, Hôpital Honoré- Mercier, 2750 Bd. Laframboise, J2S 4Y8 Saint-Hyacinthe Québec, Canada. Mailto: dianepoirier2@cgocable.ca

Reçu : 13 Septembre 2012
Accepté : 17 Août 2013

Résumé

Contexte : La quantité de programmes de formation médicale disponibles sur Internet soulève un questionnement quant à l’uniformité de la qualité de l’information, la crédibilité et les sources du contenu médical retrouvé sur ces sites. But : Élaborer puis évaluer la fidélité d’une grille d’évaluation de sites Internet de formation médicale avec l’objectif d’offrir à la communauté médicale francophone internationale un outil utile, fidèle et innovant. Méthode : Une grille d’évaluation comportant 54 indicateurs groupés en cinq catégories a été élaborée. La fidélité du résultat global de la grille a été quantifiée en comparant les résultats obtenus par sept observateurs ayant évalué 16 mêmes sites Internet à deux reprises. La seconde évaluation des sites a eu lieu un an après la première afin de minimiser le risque que les observateurs se rappellent leur évaluation initiale. Ce plan de collecte de données a permis d’évaluer les composantes suivantes de la fidélité : la variabilité intra-observateurs, la variabilité inter-observateurs et l’interaction sites-observateurs. La fidélité du résultat global de la grille a été mesurée par le coefficient de corrélation intra-classe. Résultats : Le coefficient de corrélation intra-classe de la grille obtenu était de 0,684, ce qui correspond à une bonne fidélité. La variabilité intra-observateurs (répétabilité) a été la plus grande source de variation attribuable à la méthode de mesure avec 21 % de la variation totale. Une autre mesure de performance a aussi été utilisée : le rapport de discrimination. Le rapport de discrimination estime le nombre de catégories différentes pouvant être distinguées par un système de mesure. Le rapport de discrimination obtenu est de 2,3 ce qui indique que la grille permet de séparer les sites observés en deux catégories : faible et bien. Conclusion : La grille d’évaluation des sites Internet de formation médicale, par sa bonne fidélité, est un outil intéressant pour quantifier la qualité de ces sites. L’analyse démontre que la meilleure piste d’amélioration de la fidélité de la grille serait d’en améliorer la répétabilité (variabilité intra-observateurs) mais la consistance interne pourrait aussi être étudiée et optimisée.

Abstract

Context: The mass of available medical training programs on the Internet raises questions about the uniformity of the quality of information, the reliability and the sources of the medical information found on these sites. Objectives: Developing and then assessing the accuracy of an assessment checklist of medical education websites in view of providing to the international French-speaking medical community a useful, reliable and innovative tool. Method: An assessment checklist of 54 indicators grouped into five categories was developed. The accuracy of the checklist’s overall score was compared using the results of seven observers who evaluated the same 16 websites twice. The second evaluation of the sites was carried out one year later one to minimize the risk of observers remembering their original evaluation. The data collection plan helped measure the following accuracy elements: intra-observer variability, inter-observer variability and site-observer interaction. The accuracy of the checklist score was measured by the intra-class correlation coefficient. Results: The resulting intra-class correlation coefficient was 0.684, consistent with a good degree of accuracy. Intra-observer variability (repeatability) was the largest source of variation attributable to the measuring method with 21% of total variation. Another performance measure was also used: the discrimination ratio that considers the number of different categories that can be recognized by a measurement system. The resulting ratio was 2.3, indicating that the checklist helps divide the sites identified in two categories: weak and average. Conclusion: Due to its high degree of accuracy, the assessment checklist of medical education websites is an interesting tool to assess the quality of these sites. The analysis clearly demonstrates that the best avenue in improving the reliability of the checklist would be to improve repeatability (intra-observer variability).