¿Qué examen médico pasó ChatGPT?

El tema que recientemente ha arrasado en Internet no es otro que ChatGPT, el chatbot de inteligencia artificial que debutó el pasado noviembre. La gente ha entablado con él conversaciones divertidas y desenfadadas para poner a prueba su destreza parlanchina. Y no sólo eso, ChatGPT ha conseguido numerosos logros, como aprobar algunos de los exámenes más difíciles, como el de Medicina de Estados Unidos, uno de la Escuela de Negocios Wharton y cuatro de Derecho Constitucional de la Universidad de Minnesota. Esta hazaña ha llamado la atención de Elon Musk, CEO de Twitter, que se burló del chatbot de IA diciendo: "Estoy seguro de que todo irá bien". Veamos ¿Qué examen médico ha aprobado ChatGPT?

El auge del ChatGPT

Es interesante señalar que Open AI, la empresa de investigación en la que han invertido Musk y Microsoft, creó ChatGPT. Cualquiera que utilice el sitio web de la herramienta de IA puede hacerle una pregunta sobre cualquier tema y recibir una respuesta rápida y detallada en forma de párrafo. ChatGPT ha demostrado su capacidad en varios ámbitos. Puede redactar ensayos instantáneos y complejos, redactar discursos de marketing, producir poemas y chistes, e incluso redactar un discurso para un congresista en Estados Unidos. Sin embargo, se teme que la IA pueda sustituir a algunos empleos humanos.

Lee también: ¿Es ChatGPT 4 gratuito?

ChatGPT realiza el examen médico: Visión general

Uno de los últimos logros de esta herramienta es su capacidad para aprobar los exámenes para obtener la licencia médica en Estados Unidos. En un estudio previo a la publicación, los investigadores exploraron los límites superiores de las capacidades de ChatGPT. Introdujeron preguntas de exámenes anteriores en la herramienta de IA e hicieron que dos médicos calificadores puntuaran de forma independiente las respuestas, que iban desde respuestas escritas abiertas a opciones múltiples. Se aseguraron de que las respuestas a esas preguntas no estuvieran ya en el conjunto de datos al que podía acceder el chatbot una vez entrenado. El equipo observó que, a pesar de que ChatGPT no había visto antes las respuestas, su rendimiento se situó en el umbral de aprobación de los exámenes, o cerca de él, sin necesidad de formación especializada ni refuerzo. La herramienta obtuvo más del 50 por ciento en todos los exámenes y se acercó al umbral de aprobados del USMLE, que se sitúa en torno al 60 por ciento. "Por lo tanto, ChatGPT se encuentra ahora cómodamente dentro del rango de aprobados", concluye el artículo.

ChatGPT Aprueba el Examen USMLE: Todo lo que necesitas saber

En un nuevo estudio pionero, científicos del Hospital General de Massachusetts (MGH) y de AnsibleHealth han descubierto que ChatGPT de OpenAI puede aprobar el examen para obtener la licencia médica de los Estados Unidos (USMLE) con un impresionante índice de precisión del 60%. Esta investigación abre interesantes posibilidades para el papel de la IA en la educación y la formación médicas.

Herramientas de procesamiento del lenguaje natural y formación médica

ChatGPT es una herramienta de procesamiento del lenguaje natural que se entrena con grandes cantidades de datos lingüísticos y busca patrones y relaciones. Su capacidad para generar texto nuevo basado en el lenguaje en el que se ha entrenado lo convierte en un candidato ideal para su uso en la educación médica. Sin embargo, la dependencia de ChatGPT de los datos de entrenamiento significa que no rastrea la web como otros chatbots de IA.

Probar el modelo

Los científicos evaluaron el modelo ChatGPT basándose en los tres exámenes estandarizados que componen el USMLE. El equipo entrenó el modelo utilizando preguntas de prueba del examen de muestra de junio de 2022 hecho público. Las preguntas que requerían un análisis visual se excluyeron del conjunto de entrenamiento.

Para reducir el sesgo de retención en la memoria, el equipo introdujo en el modelo tres tipos diferentes de preguntas:

1. Respuesta única de opción múltiple sin justificación forzada, por ejemplo: "La afección del paciente está causada principalmente por ¿cuál de los siguientes patógenos?"
2. Respuesta única de opción múltiple con justificación forzada, por ejemplo: "¿Cuál de las siguientes es la razón más probable de los síntomas nocturnos del paciente? Explique su justificación para cada opción".
3. Preguntas abiertas, por ejemplo: "¿Cuál sería el diagnóstico del paciente basándose en la información facilitada?".

Resultados impresionantes

Por primera vez, el modelo de IA superó el USMLE con una precisión cercana al 60% sin la ayuda de instructores clínicos. Este resultado es significativo y abre nuevas posibilidades para la IA en la enseñanza de la medicina. Los investigadores también descubrieron que los resultados de ChatGPT mostraban ideas y fundamentos clínicos válidos, lo que infunde más confianza en la explicabilidad y fiabilidad del modelo.

El futuro de la educación médica

El equipo cree que ChatGPT y otros modelos conversacionales generativos pueden ayudar en la formación de futuros médicos. Una de estas aplicaciones podría ser la traducción de resultados médicos técnicos a un lenguaje más comprensible para los pacientes. AnsibleHealth ya está trabajando en este proyecto.

ChatGPT demuestra su capacidad en el ámbito médico

Además de su capacidad para responder preguntas y diagnosticar enfermedades, el GPT-4 es también un excelente traductor. Puede traducir la información de alta de un paciente que habla portugués y destilar la jerga técnica en algo que los alumnos de sexto grado puedan leer fácilmente. GPT-4 también puede proporcionar a los médicos sugerencias útiles sobre los modales en la cabecera del paciente, ofreciéndoles consejos sobre cómo hablar con los pacientes sobre sus enfermedades en un lenguaje compasivo y claro.

A pesar de sus limitaciones, la GPT-4 puede imitar el diagnóstico médico con resultados sorprendentes, aunque imperfectos. Cuando se le preguntó si realmente podía participar en el razonamiento causal, respondió que su inteligencia sigue estando "limitada a patrones en los datos y no implica una verdadera comprensión o intencionalidad."

La opinión del Dr. Isaac Kohane sobre la GPT-4

En un libro de próxima publicación titulado "The AI Revolution in Medicine" (La revolución de la inteligencia artificial en medicina), el Dr. Isaac Kohane, informático y médico, junto con dos colegas, probaron GPT-4, el modelo de inteligencia artificial más reciente de OpenAI, para ver cómo funcionaba en un entorno médico. Los resultados fueron impresionantes.

En el libro, el Dr. Kohane señala que GPT-4, que se puso a disposición de los suscriptores de pago en marzo de 2023, puede responder correctamente a las preguntas del examen médico de EE.UU. en más del 90% de las ocasiones. Responde mucho mejor a los exámenes que los modelos anteriores de IA ChatGPT, GPT-3 y -3.5, y también mejor que algunos médicos colegiados. Según Carey Goldberg y el vicepresidente de investigación de Microsoft, Peter Lee, GPT-4 tiene mejor juicio clínico que "muchos médicos" y puede diagnosticar enfermedades raras "igual que lo haría yo".

Pruebas GPT-4: el método

Para probar GPT-4, el Dr. Kohane y sus colegas se asociaron para ver cómo funcionaba el modelo de IA en un entorno médico. Formularon preguntas a GPT-4 y le dieron escenarios clínicos para diagnosticar, que luego se compararon con los diagnósticos realizados por médicos humanos. Los autores señalan que GPT-4 tiene varias ventajas sobre los médicos humanos, como la capacidad de recordar y sintetizar grandes cantidades de información procedente de múltiples fuentes.

Sin embargo, los autores también reconocen que la GPT-4 tiene varias limitaciones. Por ejemplo, la GPT-4 no puede tener en cuenta el historial médico o los determinantes sociales de la salud propios de cada paciente. Además, el hecho de que la GPT-4 se base en grandes cantidades de datos suscita preocupación por la privacidad y el sesgo de los datos.

GPT-4: Capacidades y potencial

GPT-4 es algo más que un simple buscador de datos y un buen examinador; también es un excelente traductor. Según los autores, GPT-4 puede traducir información de alta para un paciente que habla portugués y destilar jerga técnica en algo que los alumnos de sexto grado puedan entender fácilmente.

Pero la GPT-4 no sólo resulta prometedora en el ámbito del diagnóstico. En el libro, los autores explican cómo la GPT-4 puede proporcionar a los médicos sugerencias útiles sobre el trato con los pacientes, ofreciéndoles consejos sobre cómo conectar mejor con ellos.

Sin embargo, es importante señalar que la GPT-4 no es infalible. Como advierten los autores, aún puede cometer errores y no ha hecho el juramento hipocrático. Además, la tecnología de IA, incluida la GPT-4, plantea cuestiones éticas sobre el desplazamiento de puestos de trabajo y la privacidad de los pacientes.

Conclusiones: El futuro de la IA en medicina

A pesar de estas limitaciones, el éxito de GPT-4 en el diagnóstico de afecciones médicas plantea interesantes posibilidades para la tecnología de IA en medicina. En el futuro, modelos de IA como GPT-4 podrían ayudar a los médicos a diagnosticar enfermedades raras, traducir la jerga médica y ofrecer una mejor atención a los pacientes. Sin embargo, es importante que los modelos de IA se desarrollen y prueben teniendo en cuenta consideraciones éticas.

Si quieres conocer otros artículos parecidos a ¿Qué examen médico pasó ChatGPT? puedes visitar la categoría Noticias.