Medicīnas mākslīgais intelekts rada vizuāli pievilcīgas siltu kartes, kas bieži neatbilst faktiskajām diagnozēm

Attēls: Illustrative image · .edu.edits · CC BY-SA 4.0 · Avots

IIIT Hyderabadas pētnieki novērtēja četrus krūšu rentgena AI modeļus, kas ģenerē siltu kartes, izceļot svarīgākās zonas. Viņi atklāja, ka šīs vizualizācijas biežāk atbilst statistiskajiem modeļiem nekā patiesajām patoloģiskajām vietām, kas rada bažas par klīnisko uzticamību.

Starptautiskā Informācijas Tehnoloģiju Institūta Hyderabadas (IIIT Hyderabad) komanda veica audits četriem specializētiem datorredzes modeļiem krūšu rentgena analīzei. Pētījums koncentrējās uz to, cik labi uzmanības siltu kartes — vizuālas pārklājums, kas norāda AI diagnozei svarīgās zonas — atbilst reālajām patoloģiskajām vietām, ko atzīmējuši radiologi. Novērtētie modeļi bija MAIRA-2, MedGemma-4B, LLaVA-Med-1.5 un LLaVA-1.5, testēti trijos publiskos datos un papildus pneumotoraksa pacientu paraugā.

Automātiskā salīdzināšana novērtēja MAIRA-2 kā labāko siltu karšu un patoloģijas saskanību, tam sekoja MedGemma un divas LLaVA versijas. Tomēr būtiska atziņa bija, ka ierastos gadījumos modeļi nepārsniedza vienkāršas anatomiskas veidnes, kas balstītas uz vidējām statistiskām sadalēm. Būtībā AI tendēja izcelt zonas, kas statistiski saistītas ar noteiktām patoloģijām, nevis precīzās vietas konkrētos rentgena attēlos.

Tikai atipiskos gadījumos — kur reālie atradumi būtiski atšķīrās no izplatītajiem modeļiem — MAIRA-2 un MedGemma radīja patiešām attēlam specifisku lokalizāciju, precīzāk norādot patoloģiju. Šī ierobežojuma dēļ rodas bažas par šādu AI ģenerētu siltu karšu uzticamību klīniskos rīkos.

Tālākās eksperimentēs ar 124 radiologiem tika konstatēts, ka eksperti interpretē siltu karšu ticamību citādāk nekā automatizētās metrikas. Radiologi bieži uzskatīja par pārliecinošākām plašākas, klīniski nozīmīgas siltu kartes, pat ja tās precīzi neatbilda stingriem statistiskiem robežām.

Pētnieki īpaši uzsvēra nepieciešamību izstrādāt izvērtēšanas metrikas, kas iekļauj anatomiskus priekšnoteikumus, un ieteica ciešu radiologu iesaisti AI rīku novērtēšanā. Viņu darbs izceļ svarīgu plaisu starp AI modeļu vizuālajām paskaidrojumiem un reālo klīnisko lietderību, brīdinot par pārlieku uzticēšanos vizuāli pievilcīgiem, bet potenciāli maldinošiem AI rezultātiem medicīnas diagnostikā.