Aujourd’hui, il a été constaté que le chatbot d’IA obtient un score égal ou proche du seuil de réussite d’environ 60 % pour l’examen de licence médicale des États-Unis (USMLE), « avec des réponses qui ont un sens cohérent et interne et qui contiennent des idées fréquentes ».

C’est ce que révèle une étude publiée jeudi dans la revue à accès libre PLOS Digital Health par Tiffany Kung, Victor Tseng et leurs collègues d’AnsibleHealth.

L’USMLE est une série de trois examens hautement normalisés et réglementés, nécessaires à l’obtention d’un permis d’exercer la médecine aux États-Unis. Passé par les étudiants en médecine et les médecins en formation, l’USMLE évalue les connaissances dans la plupart des disciplines médicales, de la biochimie à la bioéthique, en passant par le raisonnement diagnostique.

Pour voir comment le mode linguistique fonctionnerait sur cet examen très complexe, Kung et ses collègues ont testé les performances de ChatGPT sur le test. Ils ont supprimé les questions basées sur des images et ont posé à ChatGPT 350 des 376 questions publiques disponibles dans la version de l’USMLE de juin 2022.

ChatGPT a obtenu des scores compris entre 52,4 % et 75 % pour les trois examens USMLE. Ces scores sont de très bon augure puisque le seuil de réussite est d’environ 60 % chaque année.

ChatGPT a également démontré une concordance de 94,6 % sur l’ensemble de ses réponses et a produit au moins un aperçu significatif pour 88,9 % de ses réponses.

accéder à l'article