Un estudio de la EPFL publicado en la revista estadounidense PNAS probó sistemas como ChatGPT para responder a las evaluaciones universitarias. La IA puede proporcionar un 85% de respuestas correctas, si se le informa previamente. Si el estudio se volviera a realizar hoy, esta cifra sería aún mayor.
Centrándose en GPT-3.5 y GPT-4, los científicos utilizaron ocho estrategias diferentes para producir respuestas. Descubrieron que GPT-4 respondió correctamente el 65,8% de las preguntas en promedio e incluso pudo proporcionar la respuesta correcta en al menos una estrategia para el 85,1% de las preguntas.
En concreto, el 65% de las respuestas correctas se obtuvieron utilizando la estrategia más básica, sin conocimientos previos. “Con algunos conocimientos sobre el tema, fue posible lograr una tasa de éxito del 85%”, afirma Anna Sotnikova, coautora del artículo.
>> Lea también: Las universidades están poniendo poco a poco reglas de juego frente a la IA
Los investigadores “sorprendidos” por estos resultados
El 85% de respuestas correctas “fue realmente una sorpresa”, admite Anna Sotnikova. “Nos sorprendieron los resultados. Nadie esperaba que los asistentes de IA obtuvieran un porcentaje tan alto de respuestas correctas en tantos cursos”, continúa el investigador.
Los asistentes de IA no empeorarán, solo mejorarán. La conclusión de los científicos es que si el estudio se reiniciara hoy, las cifras serían aún mayores.
50 cursos estudiados
En su estudio, científicos de la Facultad de Informática y Comunicaciones analizaron 50 cursos de EPFL para medir el rendimiento actual de estos grandes modelos de lenguaje (LLM) en las evaluaciones de cursos de educación superior. Los cursos seleccionados forman parte de nueve programas de licenciatura y maestría en línea y cubren una amplia gama de disciplinas, incluidas informática, matemáticas, biología, química, física y ciencia de materiales.
“Estos datos se reunieron en un formato que creíamos que se parecería más a la forma en que los estudiantes comunicarían esta información a los modelos”, explica Antoine Bosselut, profesor asistente y miembro del Centro de IA de la EPFL, citado en el comunicado de prensa.
Adaptar la educación
“A corto plazo, deberíamos insistir en que las evaluaciones sean más difíciles, no en el sentido de la dificultad de las preguntas, sino en el sentido de la complejidad de la evaluación misma”, sugiere Antoine Bosselut. Según los investigadores, a más largo plazo, está claro que los sistemas educativos tendrán que adaptarse.
“Es sólo el comienzo y creo que se puede hacer una analogía entre los LLM actuales y las calculadoras. Cuando se introdujeron existía la misma preocupación de que los niños ya no aprendieran matemáticas”, señala Beatriz Borges, coautora de esta investigación.
“Hoy en día, en las primeras etapas de la educación, las calculadoras generalmente no están permitidas, pero a partir de los grados superiores sí están presentes, para realizar tareas de menor nivel mientras los estudiantes adquieren habilidades más avanzadas”, concluye el investigador.
lia con ats
Related News :