La IA Médica Produce Mapas de Calor Visualmente Atractivos que con Frecuencia No Coinciden con Diagnósticos Reales

Image: Illustrative image · .edu.edits · CC BY-SA 4.0 · Source

Investigadores del IIIT Hyderabad evaluaron cuatro modelos de IA para rayos X de tórax que generan mapas de calor destacando áreas de interés. Encontraron que estas visualizaciones frecuentemente corresponden más a patrones estadísticos que a ubicaciones patológicas reales, lo que plantea dudas sobre su fiabilidad clínica.

Un equipo del Instituto Internacional de Tecnología de la Información Hyderabad (IIIT Hyderabad) realizó una auditoría de cuatro modelos especializados de visión por computadora diseñados para el análisis de radiografías de tórax. El estudio se centró en qué tan bien los mapas de atención —superposiciones visuales que indican regiones importantes para el diagnóstico de la IA— coincidían con ubicaciones patológicas reales señaladas por radiólogos. Los modelos evaluados fueron MAIRA-2, MedGemma-4B, LLaVA-Med-1.5 y LLaVA-1.5, probados en tres conjuntos de datos públicos y una muestra adicional de pacientes con neumotórax.

Su comparación automática clasificó a MAIRA-2 como el que mejor alineación tenía entre mapas de calor y patología, seguido por MedGemma y luego las dos versiones de LLaVA. Sin embargo, un hallazgo crítico fue que, en casos típicos, los modelos no superaron plantillas anatómicas simples basadas en distribuciones estadísticas promedio. Esencialmente, la IA tendía a destacar áreas asociadas estadísticamente con ciertas patologías en lugar de las ubicaciones exactas encontradas en radiografías individuales.

Solo en casos atípicos —donde los hallazgos reales divergían significativamente de patrones comunes— MAIRA-2 y MedGemma produjeron una localización verdaderamente específica de la imagen, identificando la patología con mayor precisión. Esta limitación genera inquietudes sobre la confiabilidad de dichos mapas de calor generados por IA como herramientas clínicas.

Experimentos adicionales con 124 radiólogos mostraron que los expertos interpretan la plausibilidad de los mapas de calor de manera diferente a las métricas automatizadas. Los radiólogos frecuentemente encontraron más convincentes mapas de calor amplios y clínicamente significativos, aunque estos no coincidieran estrictamente con límites estadísticos rígidos.

Los investigadores enfatizaron especialmente la necesidad de desarrollar métricas de evaluación que incorporen conocimientos anatómicos previos y recomendaron involucrar estrechamente a los radiólogos en la evaluación de herramientas de IA. Su trabajo destaca una brecha importante entre las explicaciones visuales de los modelos de IA y la utilidad clínica en el mundo real, advirtiendo contra una dependencia excesiva de resultados visualmente atractivos pero potencialmente engañosos para el diagnóstico médico.