Évaluer les futurs médecins en situation simulée dans le contexte de l'urgence vitale : développement d'un outil et réflexions sur son apport dans le cadre d'une approche par compétence(s)

Introduction : il est essentiel de s’assurer que les compétences des étudiants et internes en médecine d’urgence, sont maitrisées et évaluées tout au long de leur formation. Notre objectif était de développer trois scores les évaluant par la simulation, dans trois situations cliniques d’urgence vitale : l’arrêt cardiaque (ACAT 1), le coma (ACAT 2) et la détresse respiratoire aigüe (ACAT 3).

Méthode : en suivant le processus de validation d’un test de Downing, nous avons mené une recherche en trois phases. La première s’intéressait au développent du contenu des scores, grâce à une méthode Delphi, la deuxième a consisté en une étude du processus de réponse puis en une validation de leur reproductibilité d’après des sessions de simulation filmées. La troisième phase a consisté en une évaluation de leurs propriétés psychométriques en contexte de simulation in-situ, ainsi qu’en une évaluation étude de leur utilisabilité et de leur acceptabilité auprès des enseignants.

Résultats : 3 scores ACAT (Acute Care Assessment Tool) de 20 items ont été obtenus après consultation de 51 experts. Après analyse de 43 vidéos et de 104 situations in-situ, impliquant respectivement 144 et 314 apprenants, la fiabilité des scores était bonne avec une reproductibilité excellente (coefficients de corrélation intra-classe tous > 0.88) et une bonne cohérence (coefficients alpha de Cronbach tous > 0.73). Les scores ACAT 1 et 3 avaient une bonne validité de construit. Les enseignants estimaient que les scores ACAT étaient utilisables, mais ont discuté les changements induits avec l’évaluation par la simulation, notamment la crainte de la perte d’une certaine bienveillance.

Conclusion : trois scores d’évaluation valides et fiables ont pu être développés pour mesurer la performance des étudiants et internes en médecine d’urgence, dans trois situations d’urgence vitale. L’acceptabilité de l’évaluation par la simulation est questionnée et devrait être analysée dans l’optique de son déploiement pour des évaluations à enjeu élevé.