Calipia : le blog

Une équipe de chercheurs de l’Université Métropolitaine d’Osaka, dirigée par le Dr Hirotaka Takita et le Professeur Associé Daiju Ueda, s’est penchée sur une question brûlante : les intelligences artificielles génératives peuvent-elles égaler – ou même surpasser – les médecins dans l’art délicat du diagnostic ? Spoiler : les stéthoscopes ne sont pas encore rangés au placard.

Basée sur une revue systématique et une méta-analyse, l’étude a examiné pas moins de 18 371 études (!), pour n’en retenir que 83 dignes d’une analyse approfondie. Voici ce qu’ils ont découvert.

Des IA capables… mais pas encore docteur House

• Diagnostic global : L’exactitude moyenne des modèles d’IA, tels que GPT-4, Llama3 70B, Gemini 1.5 Pro et Claude 3 Sonnet, atteint 52,1% (IC 95% : 47,0–57,1%).
• Comparaison avec les médecins : Les IA font jeu égal avec les médecins non spécialistes (écart d’exactitude : 0,6 %, p=0,93). Face aux experts, en revanche, l’IA accuse un retard significatif de 15,8 %.

En clair, l’IA n’est pas encore prête à décrocher son doctorat en médecine, mais elle pourrait obtenir un diplôme d’assistant médical.

Des performances variables selon les spécialités médicales

• Dermatologie : Terrain favorable pour l’IA grâce à la reconnaissance d’images et de motifs (son terrain de jeu favori).
• Urologie : Résultats prometteurs, mais basés sur une seule étude. À prendre donc avec des pincettes… 

Une opportunité pour la formation médicale

Les IA pourraient jouer un rôle crucial dans l’éducation médicale, en simulant des cas réels et en testant les connaissances des étudiants et internes.

Ombres au tableau : opacité et biais

• Manque de transparence : Beaucoup de modèles ne révèlent pas leurs données d’entraînement.
• Risques de biais : Impossible de garantir l’applicabilité universelle des diagnostics.

En médecine comme en cuisine, savoir d’où viennent les ingrédients reste crucial.

L’étude souligne que, si l’IA générative fait preuve de performances impressionnantes – surtout pour une technologie encore jeune –, elle est loin de remplacer l’œil critique, l’expérience, et la capacité d’empathie des médecins…