Medisinsk AI Lager Visuelt Tiltrekkende Varmekart som Ofte Ikke Stemmer Overens med Faktiske Diagnoser

Bilde: Illustrative image · .edu.edits · CC BY-SA 4.0 · Kilde

Forskere ved IIIT Hyderabad evaluerte fire AI-modeller for bryst-røntgen som genererer varmekart for å fremheve områder av interesse. De fant at disse visualiseringene ofte samsvarer mer med statistiske mønstre enn med reelle patologiske lokasjoner, noe som vekker bekymring om klinisk pålitelighet.

Et team fra International Institute of Information Technology Hyderabad (IIIT Hyderabad) gjennomførte en revisjon av fire spesialiserte datavisjonsmodeller utviklet for bryst-røntgenanalyse. Studien fokuserte på hvor godt oppmerksomhets-varmekartene—visuelle overlegg som indikerer regioner viktige for AIs diagnose—stemte overens med faktiske patologiske lokasjoner notert av radiologer. Modellene som ble evaluert var MAIRA-2, MedGemma-4B, LLaVA-Med-1.5 og LLaVA-1.5, testet på tvers av tre offentlige datasett og et tilleggseksempel med pasienter som hadde pneumothorax.

Den automatiske sammenligningen rangerte MAIRA-2 høyest i samsvar mellom varmekart og patologi, fulgt av MedGemma og deretter de to LLaVA-versjonene. En kritisk observasjon var imidlertid at modellene i typiske tilfeller ikke overgikk enkle anatomiske maler basert på gjennomsnittlige statistiske fordeling. Kort sagt tenderte AI til å fremheve områder som statistisk var assosiert med visse patologier heller enn de nøyaktige lokasjonene funnet på individuelle røntgenbilder.

Kun i atypiske tilfeller—hvor faktiske funn avvek betydelig fra vanlige mønstre—produserte MAIRA-2 og MedGemma virkelig bildespesifikk lokalisering, og identifiserte patologi mer presist. Denne begrensningen skaper bekymring rundt påliteligheten til slike AI-genererte varmekart som kliniske verktøy.

Videre undersøkelser med 124 radiologer viste at eksperter tolker troverdigheten av varmekart annerledes enn automatiske målinger. Radiologene fant ofte bredere, klinisk meningsfulle varmekart mer overbevisende, selv om disse ikke nøyaktig samsvarte med rigide statistiske grenser.

Forskerne understreket særlig behovet for å utvikle evalueringsmål som inkorporerer anatomiske forutsetninger og anbefalte tett involvering av radiologer i vurderingen av AI-verktøy. Deres arbeid fremhever en viktig kløft mellom visuelle forklaringer fra AI-modeller og reell klinisk nytte, og advarer mot overdreven tillit til visuelt tiltalende, men potensielt misvisende, AI-resultater for medisinsk diagnostikk.