Tercer Milenio
En colaboración con ITA
investigación
La inteligencia artificial de ChatGPT obtiene un 8,36 en la EVAU
Un grupo de profesores han probado la capacidad de la inteligencia artificial de ChatGPT sometiéndolo a los exámenes de EVAU en los que ha obtenido una puntuación de 8,36 sobre 14.
Un grupo de profesores del Instituto de Enseñanza Secundaria (IES) ‘Virgen del Carmen' de Jaén han probado la capacidad de la inteligencia artificial de ChatGPT sometiéndolo a los exámenes de la Evaluación para el Acceso a la Universidad (EVAU), en los que ha obtenido como media una puntuación de 8,36 sobre 14.
Juan de Dios Marín, profesor de Marketing del IES ‘Virgen del Carmen’ y promotor del estudio, ha explicado a EFE que esta idea surgió ante la democratización del uso de esta inteligencia artificial, para comprobar su utilidad y las fuentes de las que se sirve para elaborar una información antes de que los alumnos empiecen a experimentar solos con ella.
El grupo de profesores decidió llevar a cabo esta investigación para evaluar la capacidad de esta inteligencia artificial para resolver exámenes de acceso a la universidad EVAU.
El ChatGPT ha tenido que responder a preguntas reales y próximas en el tiempo y ante la presencia los profesores que participaron en el tribunal de la última EVAU sobre seis materias diferentes: Inglés, Matemáticas Aplicadas, Lengua Castellana, Historia de España, Economía de la Empresa y Filosofía.
Con la nota de corte obtenida, un 8,36 sobre 14, podría acceder a carreras como Física, Química, Biología, Derecho o Administración y Dirección de Empresas (EADE).
El profesor Marín ha explicado que los resultados obtenidos han seguido los criterios de evaluación de los exámenes de la EVAU de 2022 de la Universidad de Jaén, a los que no tenía acceso la IA, "ya que ChatGPT está entrenada hasta el 2021”.
El ChatGPT ha superado la EVAU, “con sus luces y sus sombras”, con una puntuación de 9 en Inglés, “lo que indica que tiene un conocimiento sólido de la gramática y la sintaxis del idioma”, aseguran los profesores.
Sin embargo, en las otras materias, las puntuaciones fueron mucho más bajas, con una calificación de 2,5 en Matemáticas Aplicadas; 2,75 en Química; 6 en Lengua Castellana; 4 en Historia de España; 5,5 en Economía de la empresa; y 5,5 en Filosofía, mientras que en Biología ha cosechado un 8,8.
Marín considera que "como el chat está pensado para desarrollar una conversación con una persona las notas han sido mejores en materias de letras", pero en cambio "no está preparado para realizar representaciones gráficas, de ahí que haya suspendido Matemáticas.
A pesar de que ChatGPT demostró tener un buen conocimiento de la gramática y la sintaxis, los profesores que han participado en la corrección concluyeron que las respuestas de la IA eran superficiales, carentes de profundidad y sin citar sus fuentes.
ChatGPT no ha utilizado un lenguaje técnico y ha tratado los temas de manera demasiado general, sin mostrar un pensamiento crítico ni una opinión personal, en algunos casos, incluso pareció inventar resultados para hacer sus respuestas más coherentes.
“Es importante destacar que a ChatGPT solo se le han proporcionado las preguntas, sin ningún tipo de contexto o información adicional, esto puede haber influido en su capacidad para responder con profundidad y, por lo tanto, en sus resultados” ha señalado Marín, quien cree que si le hubieran dado un contexto, por ejemplo comunicar que está realizando un examen de Química, habría encontrado más datos.
Los profesores entienden que la investigación demuestra que, a pesar del gran avance de la inteligencia artificial, "todavía hay mucho por hacer antes de que las máquinas puedan competir con los seres humanos en términos de conocimiento y pensamiento crítico".
