Lääketieteellinen tekoäly tuottaa visuaalisesti houkuttelevia lämpökarttoja, jotka usein eivät vastaa todellisia diagnooseja

Kuva: Illustrative image · .edu.edits · CC BY-SA 4.0 · Lähde

IIIT Hyderabadin tutkijat arvioivat neljää rintakehän röntgenkuvien tekoälymallia, jotka tuottavat korostuslämpökarttoja. He havaitsivat, että nämä visualisoinnit yleisemmin vastaavat tilastollisia malleja kuin oikeita patologisia sijainteja, mikä herättää huolta kliinisestä luotettavuudesta.

Kansainvälisen tietojenkäsittelytieteen instituutin Hyderabadin yksikön (IIIT Hyderabad) tutkimusryhmä suoritti auditoinnin neljälle erikoistuneelle tietokonenäkömallille, jotka suunniteltiin rintakehän röntgenkuvien analysointiin. Tutkimuksen painopisteenä oli se, kuinka hyvin huomion lämpökartat – visuaaliset päällekkäiskuvat, jotka osoittavat tekoälyn diagnoosille tärkeät alueet – vastaavat todellisia patologisia sijainteja, jotka radiologit olivat tunnistaneet. Arvioidut mallit olivat MAIRA-2, MedGemma-4B, LLaVA-Med-1.5 ja LLaVA-1.5, joita testattiin kolmella julkisella tietoaineistolla sekä lisänä otos pneumotoraksipotilaista.

Automatisoitu vertailu sijoitti MAIRA-2:n korkeimmalle lämpökarttojen ja patologian vastaavuudessa, seuraavina MedGemma sekä kaksi LLaVA-versiota. Kriittisen löydöksen mukaan tyypillisissä tapauksissa mallit eivät kuitenkaan päihittäneet yksinkertaisia anatomisia malleja, jotka perustuivat keskimääräisiin tilastollisiin jakaumiin. Käytännössä tekoäly korosti tilastollisesti tiettyihin patologioihin liittyviä alueita, eikä tarkasti sen yksittäisen röntgenkuvan löydöksissä todettuja sijainteja.

Vain epätyypillisissä tapauksissa, joissa todelliset löydökset merkittävästi poikkesivat yleisistä malleista, MAIRA-2 ja MedGemma tuottivat aidosti kuvaan spesifistä lokalisaatiota, tunnistaen patologian tarkemmin. Tämä rajoitus nostaa esiin huolen tekoälyn luotettavuudesta kliinisissä sovelluksissa.

Lisäkokeissa, joihin osallistui 124 radiologia, havaittiin, että asiantuntijat arvioivat lämpökarttojen uskottavuutta eri tavoin kuin automaattiset mittarit. Radiologit pitivät usein laajempia, kliinisesti merkityksellisiä lämpökarttoja vakuuttavampina, vaikka ne eivät vastanneetkaan tarkkoja tilastollisia rajoja.

Tutkijat korostivat erityisesti tarvetta kehittää arviointimittareita, jotka sisältävät anatomisia prioriteetteja, ja suosittelivat radiologien tiivistä osallistumista tekoälytyökalujen arviointiin. Heidän työnsä paljastaa merkittävän kuilun tekoälymallien visuaalisten selitysten ja todellisen kliinisen hyödyn välillä varoittaen liiallisesta luottamisesta visuaalisesti houkutteleviin mutta mahdollisesti harhaanjohtaviin tekoälyn tuloksiin lääketieteellisessä diagnoosissa.