⇧ [VIDÉO] También te puede gustar el contenido de este socio.
Los modelos de lenguaje más avanzados hasta la fecha, como el GPT-4 de OpenAI, se están volviendo tan buenos que ahora es difícil distinguirlos por escrito. En particular, GPT-4 obtuvo una puntuación del 54% (aprobado) durante una prueba reciente en la que tuvo que simular ser un humano durante una conversación de cinco minutos (prueba de Turing). Sin embargo, la rápida evolución de estos sistemas parece estar resultando muy problemática para el ámbito educativo. Esto lo acaba de demostrar un experimento llevado a cabo por investigadores de la Universidad de Reading con el objetivo de infiltrarse en secreto en los exámenes universitarios para que una IA los realice.
Durante la pandemia de COVID-19, muchas universidades de todo el mundo han pasado de los exámenes supervisados in situ a sesiones de exámenes no supervisadas en casa. Hoy en día, aunque ya no hay confinamiento, esta práctica continúa, y esto es lo que preocupa a profesores e investigadores.
De hecho, con herramientas de inteligencia artificial cada vez más eficientes y accesibles, los estudiantes pueden hacer trampa fácilmente enviando trabajos generados en su totalidad o en gran parte por ellos. Sobre todo porque la situación se ha vuelto cada vez más complicada con la disminución de la confiabilidad de las herramientas de detección de texto creadas por IA, que se han vuelto ineficaces la mayor parte del tiempo.
Una prueba del mundo real
Para medir el alcance del problema para el sector educativo, particularmente dentro de las universidades y colegios, los investigadores llevaron a cabo una “prueba de infiltración”. Con sus colegas, Peter Scare, profesor e investigador de la Universidad de Reading, jugó con los marcadores de exámenes del establecimiento para ver si serían capaces de distinguir las respuestas generadas por una IA de las escritas por estudiantes reales. Para ello, participaron en un examen de psicología en su establecimiento y proporcionaron respuestas íntegramente elaboradas por GPT-4 (el modelo de lenguaje más potente de OpenAI) bajo 33 nombres falsos de estudiantes.
« Muchas instituciones se han alejado de los exámenes tradicionales para hacer la evaluación más inclusiva. Nuestra investigación muestra que comprender cómo la IA afectará la integridad de las evaluaciones educativas es de importancia internacional. dijo Bufanda. Este estudio ciego, cuyo objetivo es desafiar a los educadores humanos a detectar contenido generado por IA, es el más grande de su tipo realizado hasta la fecha.
Resultados claros
Los resultados del estudio, publicados en la revista MÁS UNO el 26 de junio son definitivos. El 94% de las respuestas generadas por Chat GPT, enviadas para varios módulos de pregrado en psicología, no fueron desenmascaradas (como si provinieran de una IA). Aún más sorprendente es que en el 83,4% de los casos, las presentaciones de IA recibieron calificaciones más altas que los estudiantes (seleccionados al azar). Sin embargo, Scare y su equipo no pudieron descartar el hecho de que estos estudiantes también podrían haber utilizado IA para responder las preguntas.
Ver también
Estos resultados ponen de relieve dos problemas importantes. Por un lado, existe una alta probabilidad de que los estudiantes utilicen la IA para hacer trampa sin que sea detectado. Por otro lado, es posible que obtengan mejores calificaciones que otros que no habrían hecho trampa. “ El lanzamiento de esta prueba de control de calidad en el mundo real demuestra muy claramente que las herramientas de IA generativa disponibles de forma gratuita y abierta permiten a los estudiantes hacer trampa fácilmente en los exámenes llevados a casa para obtener mejores calificaciones, aunque dichas trampas son indetectables. “, afirmó Karen Yeung, profesora de la Universidad de Birmingham, especialista en derecho, ética e informática.
Para abordar eficazmente estos problemas, Scare simplemente sugiere volver a los exámenes supervisados en persona. Sin embargo, la profesora Elizabeth McCrum, vicerrectora de educación y experiencia estudiantil de la Universidad de Reading, no está de acuerdo. Ella dijo: ” Está claro que la IA tendrá un efecto transformador en muchos aspectos de nuestras vidas, incluida la forma en que enseñamos a los estudiantes y evaluamos su aprendizaje. Sin embargo, las soluciones incluyen alejarse de ideas obsoletas en torno a la evaluación y adoptar ideas más relevantes para las habilidades que los estudiantes necesitarán en el lugar de trabajo, incluido el uso de IA. “, concluye McCrum.
