El chatbot médico de Google, impulsado por inteligencia artificial, habría obtenido una calificación aprobatoria en un difícil examen de licencia médica en EE. UU.
Pero sus respuestas aún están por debajo de las de los médicos humanos, según un estudio revisado por profesionales de la salud.
El año pasado, el lanzamiento de ChatGPT, cuyo desarrollador OpenAI cuenta con el respaldo del rival de Google, Microsoft.
Fue entonces cuando este inició una carrera entre gigantes tecnológicos en el floreciente campo de la inteligencia artificial.
Si bien se ha hablado mucho sobre las bondades y los peligros de la IA en la salud esta es un área en la que la tecnología ya ha mostrado avances.
Esto gracias a los algoritmos capaces de leer ciertos escáneres médicos además de los humanos.
Así las cosas, Google presentó por primera vez su herramienta de inteligencia artificial para responder preguntas médicas, llamada Med-PaLM.
Lo que dice Google
El gigante tecnológico estadounidense afirma que Med-PaLM es el primer modelo de lenguaje de gran tamaño.
Esta es una técnica de inteligencia artificial entrenada en grandes cantidades de texto producido por humanos,
Y es aquí donde Google dice que esta IA es capaz de superar el examen de licencia médica de EE. UU. (USMLE).
La calificación aprobatoria para el examen, que toman los estudiantes de medicina y los médicos en formación en los Estados Unidos, es de alrededor del 60%.
En febrero del 2023 un estudio afirmó que ChatGPT había logrado resultados aprobados o casi aprobados.
Asimismo, un estudio publicado en la revista Nature en julio pasado los investigadores de Google dijeron que Med-PaLM había logrado un 67,6% en preguntas de opción múltiple estilo USMLE.
«Med-PaLM tiene un rendimiento alentador, pero sigue siendo inferior al de los médicos», afirma el estudio.
Cómo lo hizo
Para identificar y reducir las “alucinaciones” (como se llama cuando los modelos de IA ofrecen información falsa) Google dijo que había desarrollado un nuevo punto de referencia de evaluación.
Karan Singhal, investigador de Google y autor principal del nuevo estudio, dijo a la agencia AFP que el equipo utilizó el punto de referencia para probar una versión más nueva de su modelo con resultados «súper interesantes».
Med-PaLM 2 alcanzó el 86,5% en el examen USMLE, superando a la versión anterior en casi un 20%, según un estudio preimpreso publicado en mayo que no ha sido revisado por pares.
Los expertos
James Davenport, un científico informático de la Universidad de Bath en el Reino Unido que no participó en la investigación, dijo que «hay un elefante en la habitación» para estos chatbots médicos impulsados por IA.
Hay una gran diferencia entre responder “preguntas médicas y la medicina real”, que incluye diagnosticar y tratar problemas de salud genuinos”, afirmó.
Anthony Cohn, experto en inteligencia artificial de la Universidad de Leeds, en el Reino Unido, dijo que las alucinaciones probablemente siempre serían un problema para modelos de lenguaje tan grandes, debido a su naturaleza estadística.
Por lo tanto, estos modelos «siempre deben considerarse como asistentes y no como quienes toman las decisiones finales», dijo el Sr. Cohn.
Como una ayuda
Karan Singhal dijo que en el futuro Med-PaLM podría usarse para ayudar a los médicos a ofrecer alternativas que de otro modo no se habrían considerado.
El periódico Wall Street Journal informó a mediados del año pasado que Med-PaLM 2 ha estado en pruebas en el prestigioso hospital de investigación de la Clínica Mayo de EE. UU. desde abril.
Singhal enfatizó que ninguna prueba sería “clínica, ni dirigida al paciente, ni capaz de causar daño a los pacientes”.
En cambio, sería para “tareas más administrativas que pueden automatizarse con relativa facilidad y con poco en juego”, añadió.
La idea no gusta en algunos
Phillip Dawson, investigador de integridad académica en la Universidad Deakin, dijo que no pudo evaluar el estudio en sí, pero que «si los autores realmente hicieron lo que dicen que hicieron, entonces eso es aterrador».
«Existe la sensación de que esto va a ser incluso mayor que la pandemia en términos de cómo cambia la evaluación».
Kane Murdoch, director de mala conducta académica de la Universidad Macquarie, dijo que «no le sorprendió en absoluto» que ChatGPT pudiera aprobar el USMLE.
«Esos son exámenes bastante serios y complejos; evaluaciones más simples serían pan comido».
Él y otros están presionando para que las universidades adopten ChatGPT, en lugar de prohibirlo por completo.