¿Podrá ser tu médico de cabecera una inteligencia artificial?. Específicmente, ¿el ChatGPT de OpenAI sería capaz de pasar un examen para ser médico?
ChatGPT ya ha demostrado que puede pasr exámenes en otros áreas, como historia, economía, abogacía, y hasta microbiología, pero qué pasa si se lo enfrenta a otros, como el de medicina.
Una investigación demuestró que el sistema consiguió una tasa de aciertos cercana al aprobado en las pruebas del USMLE. No obstante, la IA sigue teniendo algunas limitaciones
La investigación, publicada en la revista especializada PLOS Digital Health, mostró que el chat pudo responder correctamente a cerca del 60% de las preguntas dentro del USMLE (el Examen de Licencia Médica de los Estados Unidos, por sus siglas en inglés). Y ese el el porcentaje que se debe aprobar pra pasar con éxito el examen.
El USMLE tiene tres tipos de preguntas: tipo test justificando la respuesta, tipo test sin justificar y respuesta abierta. Para testar a ChatGPT se utilizaron las 375 preguntas, sin imágenes, ya que ChatGPT "aún" no ve.
Los resultados fueron corregidos por dos médicos y auditados por un tercero. ¿El resultado?: acertó entre el 52,4% y el 75% en cada uno de los pasos que componen la prueba. Todo un éxito, casi humano.
Incluso superó el rendimiento de PubMedGPT, un modelo similar a ChatGPT, aunque en este caso formado exclusivamente con datos biomédicos, que obtuvo una puntuación del 50,8 % en un conjunto de datos más antiguo de preguntas similares a las que aparecen recogidas en el USMLE, indicó ABC España.
"Tiene limitaciones como un tamaño de casos limitado (solo fue testado con 350 preguntas). También representa un escenario limitado puesto que solo trabaja con textos. De hecho, se eliminaron 26 preguntas que contenían imágenes u otra información no textual (con la que ChatGPT no puede trabajar)", explica Alfonso Valencia, director de Ciencias de la vida en el Centro Nacional de Supercomputación de Barcelona , en declaraciones recogidas por SMC España.
"Además, los resultados del examen realizado por ChatGPT fueron evaluados por dos médicos. De este modo, es necesario esperar a estudios posteriores que puedan contar con un mayor número de evaluadores cualificados para poder avalar los resultados de esta IA", señala, por su parte, Lucía Ortiz, investigadora en Ética y Gobernanza de inteligencia artificial en la Universidad Autónoma de Madrid.
"Durante los últimos 12 meses ha habido un gran salto en los grandes modelos de procesamiento de lenguaje natural, como ChatGPT. Están mucho mejor entrenados que lo que teníamos antes", dice José del Barrio, jefe de la startup dedicada al desarrollo de soluciones basadas en IA Samaipata.
"Es muy fácil que se descontrolen y ofrezcan información que no es veraz o que puede resultar controvertida. Hay un riesgo aunque sean muy buenos respondiendo preguntas y puedan parecer muy coherentes", concluye el experto.