¿Es capaz “ChatGPT” de aprobar el examen MIR de 2022?Implicaciones de la inteligencia artificial en la educaciónmédica en España

Abstract

La inteligencia artificial y los modelos de procesamiento de lenguaje natural han irrumpido con fuerza en el ámbito de la educación médica. Entre ellos, el modelo ChatGPT ha sido utilizado para intentar resolver distintos exámenes de medicina a nivel internacional. Sin embargo, prácticamente no existe literatura en Europa ni países de habla hispana. El presente trabajo pretende evaluar la capacidad de responder preguntas del modelo ChatGPT en el examen MIR 2022. Para ello, se ha llevado a cabo un análisistransversal y descriptivo en el que se ha introducido en dicho modelo las 210 preguntasdel examen MIR convocado en 2022 y realizado en enero de 2023. ChatGPT ha sido capazde responder de manera acertada un 51,4% de las preguntas, lo que suponeaproximadamente 69 netas en el examen MIR. Según estimaciones para este año, obtendríaun 7688, lo que estaría ligeramente por debajo de la mediana de la población presentada,pero que le permitiría pasar la nota de corte y escoger un gran número de especialidades.El resultado es similar a los obtenidos en la bibliografía previa, ligeramente por debajo delos resultados obtenidos por dicha herramienta en los exámenes americanos USMLE. Estetipo de modelos suponen una oportunidad para el aprendizaje (análisis de razonamiento,generación de debates, etc.) de los estudiantes de medicina y los residentes, pero tambiénsupone un riesgo en muchos sentidos, especialmente en cuanto a la veracidad, ética yseguridad de la información. Es fundamental formar a los futuros especialistas en la nuevarealidad de la inteligencia artificial para que sean capaces de utilizarlas y obtenerbeneficios de manera razonada y segura

Artificial intelligence and natural language processing models have burst intothe field of medical education with force. Among them, the ChatGPT model has been usedto try to solve different medicine exams at an international level. However, there ispractically no literature in Europe or Spanish-speaking countries. The present work aimsto evaluate the ability to answer questions of the ChatGPT model in the MIR 2022 exam.To do this, a cross-sectional and descriptive analysis has been carried out in which the 210questions of the MIR exam convened in 2022 have been introduced into said model. arried out in January 2023. ChatGPT has been able to correctly answer 51.4% of thequestions, which means approximately 69 net in the MIR exam. According to estimates forthis year, he would obtain a 7688, which would be slightly below the median of thepopulation presented, but which would allow him to pass the cut-off mark and choose alarge number of specialties. The result is similar to those obtained in the previousbibliography, slightly below the results obtained by said tool in the American USMLEexams. These types of models represent an opportunity for learning (analysis of reasoning,generation of debates, etc.) for medical students and residents, but they also pose a risk inmany ways, especially in terms of veracity, ethics, and security. of the information. It isessential to train future specialists in the new reality of artificial intelligence so that theyare able to use them and obtain benefits in a reasoned and safe way.