Analyse de la validité de contenu et de la qualité formelle des épreuves classantes nationales administrées en France de 2004 à 2011

An analysis of the content validity and formal quality of national ranking exams in France between 2004 and 2011

¹ Service de gynécologie et d’obstétrique, Hôpital de Hautepierre, CHRU de Strasbourg, Strasbourg, France
² Service de psychiatrie, Hôpital Civil, CHRU de Strasbourg, Strasbourg, France
³ Département d’anesthésiologie, Hôpital de Hautepierre, CHRU de Strasbourg, Strasbourg, France
⁴ Service de médecine interne, diabète et maladies métaboliques, Clinique Médicale B, Hôpital Civil, CHRU de Strasbourg, Strasbourg, France
⁵ Département de pédagogie médicale, Faculté de Médecine de Strasbourg, Strasbourg, France
⁶ Laboratoire de recherche en pédagogie des sciences de la santé, Faculté de médecine de Strasbourg, Strasbourg, France

Correspondance et offprints : E. Andrès, Service de médecine interne, diabète et maladies métaboliques, Clinique Médicale B, Hôpital Civil, Hôpitaux Universitaires de Strasbourg, 1 porte de l’Hôpital, 67091 Strasbourg Cedex, France. Mailto: emmanuel.andres@chru-strasbourg.fr

Reçu : 23 Octobre 2011
Accepté : 1 Octobre 2013

Résumé

Contexte : Depuis 2004, l’examen de la fin du 2^ème cycle des études médicales en France, appelé épreuves classantes nationales (ECN), a été modifié dans son organisation, sa forme et son fond. Objectif : L’objectif de ce travail est d’analyser ce qu’évalue l’épreuve de dossiers des ECN. Matériel et méthodes : Nous avons analysé, selon une grille préétablie, chaque dossier des annales des ECN de 2004 à 2011, soient 72 dossiers avec 525 questions sur 8 ans. L’étude a porté sur les connaissances et aptitudes requises par l’étudiant ainsi que sur la concordance entre les conseils donnés par le Centre National des Concours de l’Internat (CNCI) aux auteurs des dossiers et sur les sujets eux-mêmes, à savoir la forme et le contenu. Résultats : Les énoncés contiennent en moyenne 214 mots (extrêmes : 59-514) avec en moyenne 3 à 4 types de données à analyser, ce qui nécessite un réel travail de synthèse. Les questions portent majoritairement sur le diagnostic (20 % des questions), sur tout ce qui est du domaine du paraclinique (26 %), sur la prise en charge (32 %), et pour seulement 5 % de questions sur l’examen clinique. Un véritable raisonnement est demandé à l’étudiant dans 80 % des dossiers et une prise en charge du patient dans sa globalité est requise dans 75 % des dossiers. Enfin, l’information que le médecin doit savoir donner à son patient est évaluée dans 18 % des dossiers. Conclusion : Au regard des objectifs pédagogiques terminaux pour la deuxième partie du deuxième cycle des études médicales, qui constituent le programme officiel des ECN, les dossiers utilisés lors des épreuves administrées de 2004 à 2008 se révèlent satisfaire une validité de contenu satisfaisante. D’une façon globale, ils sont également élaborés de façon formelle en conformité avec les recommandations formulées aux auteurs de dossiers par le CNCI.

Abstract

Background: The “concours d’Internat” (internship) written exam has evolved since 2004 with changes being made to its structure, format and content. Objective : The aim of our study was to evaluate the clinical-case based questions which is part of the national ranking examination (ECN) required for admittance into post-graduate specialty medical training. Materials and methods: We used a pre-established checklist to analyze ECN paper records, between 2004 and 2011. A total of 72 papers were examined. They included 525 questions over an 8-year period. We specifically focused on aptitudes and knowledge required to answer each question, as well as the degree to which the questions themselves met the criteria set out by the Centre National des Concours de l’Internat (CNCI), in terms of subject matter, format and content. Results: The average question had 214 words (ranging from 59 to 514 words). There were generally 3 or 4 elements of data to analyze, requiring students to independently interpret each in order to be able to answer the question on the whole. Questions (20%) focused mostly on diagnoses and 26% in the paraclinical field. Some 32% of questions focused on clinical management and only 5% on physical examination. 80% of papers required students to fully explain the reasoning underlying the answers provided, and in 75% of papers overall patient care and management skills were tested. Lastly, communication skills which included giving the appropriate information to patients were evaluated in 18% of papers. Conclusion: With respect of terminal educational objectives for the second part of graduate medical training, which represents the official ECN program, records used in the tests administered from 2004 to 2008 show satisfactory content validity. Overall, they formally comply with the recommendations for authors of the CNCI records.