Los grandes modelos de lenguaje como ChatGPT, desarrollado por la empresa OpenAI, muestran capacidades impresionantes pero impredecibles. Las herramientas de la psicología cognitiva revelan que estas IA pueden presentar sesgos de razonamiento similares a los de los humanos, pero también habilidades que a veces superan las nuestras.
¿Conoce los modelos de lenguajes grandes (LLM)? Aunque esta expresión te parezca confusa, seguro que ya has oído hablar del más famoso de ellos: ChatGPT, de la empresa californiana OpenAI.
El despliegue de tales modelos de inteligencia artificial (IA) podría tener consecuencias difíciles de comprender. De hecho, es complicado predecir con precisión cómo se comportarán los LLM, cuya complejidad es comparable a la del cerebro humano. Por lo tanto, algunas de sus capacidades fueron descubiertas durante su uso y no planificadas en el momento de su diseño.
Para comprender estos “comportamientos emergentes” es necesario realizar nuevas investigaciones. Teniendo esto en cuenta, dentro de mi equipo de investigación utilizamos herramientas de psicología cognitiva tradicionalmente utilizadas para estudiar la racionalidad en humanos para analizar el razonamiento de diferentes LLM, incluido ChatGPT.
Nuestro trabajo ha puesto de relieve la existencia de errores de razonamiento en estas inteligencias artificiales. Explicaciones.
¿Cuáles son los principales modelos lingüísticos?
Los modelos de lenguaje son modelos de inteligencia artificial que son capaces de comprender y generar el lenguaje humano. Hablando esquemáticamente, los modelos de lenguaje son capaces de predecir, basándose en el contexto, las palabras que tienen más probabilidades de aparecer en una oración.
Los LLM son algoritmos de redes neuronales artificiales. Inspirándose en el funcionamiento de las redes neuronales biológicas que componen el cerebro humano, los nodos de una red de varias neuronas artificiales generalmente reciben varios valores de información como entrada y luego generan, después del procesamiento, un valor de salida.
Los LLM se distinguen de los algoritmos “clásicos” de redes neuronales artificiales que constituyen modelos de lenguaje por el hecho de estar basados en una arquitectura específica, de estar entrenados en enormes bases de datos y de tener un tamaño generalmente gigantesco (del orden de varios miles de millones de “neuronas”). ”).
Debido a su tamaño y estructura (pero también a la forma en que están formados), los LLM han demostrado desde el principio de su uso un rendimiento impresionante en las tareas que les son específicas, ya sea creación de texto, traducción o corrección.
Pero eso no es todo: los LLM también han demostrado un desempeño relativamente sorprendente en una variedad de tareas diversas, que van desde matemáticas hasta formas básicas de razonamiento.
En otras palabras, los LLM demostraron rápidamente habilidades que no eran necesariamente predecibles explícitamente a partir de su programación. Es más, parecen ser capaces de aprender a realizar nuevas tareas a partir de muy pocos ejemplos.
Estas capacidades han creado por primera vez una situación especial en el campo de la inteligencia artificial: ahora tenemos sistemas que son tan complejos que no podemos predecir de antemano el alcance de sus capacidades. De alguna manera, debemos “descubrir” experimentalmente sus capacidades cognitivas.
Con base en esta observación, postulamos que las herramientas desarrolladas en el campo de la psicología podrían resultar relevantes para estudiar LLM.
El beneficio de estudiar razonamiento LLM
Uno de los principales objetivos de la psicología científica (experimental, conductual y cognitiva) es intentar comprender los mecanismos que subyacen a las capacidades y comportamientos de redes neuronales extremadamente complejas: las del cerebro humano.
Como nuestro laboratorio está especializado en el estudio de sesgos cognitivos en humanos, la primera idea que nos vino a la mente fue intentar determinar si los LLM también presentaban sesgos de razonamiento.
Dado el papel que estas máquinas podrían desempeñar en nuestras vidas, comprender cómo razonan y toman decisiones es fundamental. Además, los psicólogos también pueden beneficiarse de estos estudios. De hecho, las redes neuronales artificiales, que pueden realizar tareas en las que el cerebro humano sobresale (reconocimiento de objetos, procesamiento del habla, etc.), también podrían servir como modelos cognitivos.
En particular, un creciente conjunto de evidencia sugiere que las redes neuronales implementadas en los LLM no solo proporcionan predicciones precisas sobre la actividad neuronal involucrada en procesos como la visión y el procesamiento del lenguaje.
Así, se ha demostrado, en particular, que la actividad neuronal de las redes neuronales entrenadas en el reconocimiento de objetos se correlaciona significativamente con la actividad neuronal registrada en la corteza visual de un individuo que realiza la misma tarea.
Este también es el caso con respecto a la predicción de datos de comportamiento, particularmente en el aprendizaje.
Actuaciones que terminaron superando a las de los humanos
Durante nuestro trabajo, nos centramos principalmente en los LLM de OpenAI (la empresa detrás del modelo de lenguaje GPT-3, utilizado en las primeras versiones de ChatGPT), porque estos LLM eran los más eficientes en ese momento. Probamos varias versiones de GPT-3, así como ChatGPT y GPT-4.
Para probar estos modelos, desarrollamos una interfaz que nos permite enviar preguntas y recopilar respuestas de los modelos automáticamente, lo que nos permitió adquirir una gran cantidad de datos.
El análisis de estos datos reveló que el desempeño de estos LLM presentaba perfiles de comportamiento que podrían clasificarse en tres categorías.
Los modelos más antiguos simplemente eran incapaces de responder preguntas de manera significativa.
Los modelos intermedios respondieron preguntas, pero a menudo se involucraron en un razonamiento intuitivo que los llevó a cometer errores, como los que se encuentran en los humanos. Parecían favorecer el “sistema 1”, mencionado por el psicólogo y premio Nobel de economía Daniel Kahneman en su teoría de los patrones de pensamiento.
En los humanos, el sistema 1 es un modo de razonamiento rápido, instintivo y emocional, mientras que el sistema 2 es más lento, más reflexivo y más lógico. Aunque está más sujeto a sesgos de razonamiento, el sistema 1 sería preferible, porque es más rápido y menos costoso en energía que el sistema 2.
A continuación se muestra un ejemplo de los errores de razonamiento que probamos, tomados del “Prueba de reflexión cognitiva”:
- Pregunta formulada: Un bate y una pelota cuestan $1,10 en total. El bate cuesta $1,00 más que la pelota. ¿Cuánto cuesta la pelota?
- Respuesta intuitiva (“sistema 1”): $0,10;
- Respuesta correcta (“sistema 2”): $0,05.
Finalmente, la última generación (ChatGPT y GPT-4) presentó un rendimiento que superó al de los seres humanos.
Por lo tanto, nuestro trabajo permitió identificar una trayectoria positiva en el desempeño de los LLM, que podría concebirse como una trayectoria “de desarrollo” o “evolutiva” donde un individuo o una especie adquiere cada vez más habilidades con el tiempo.
Modelos que pueden mejorar
Nos preguntamos si era posible mejorar el desempeño de los modelos con desempeño “intermedio” (es decir, aquellos que respondieron las preguntas pero tenían sesgos cognitivos). Para ello, les “alentamos” a abordar el problema que les había despistado de una forma más analítica, lo que se tradujo en un aumento del rendimiento.
La forma más sencilla de mejorar el rendimiento del modelo es simplemente pedirles que den un paso atrás pidiéndoles que “piensen paso a paso” antes de hacerles la pregunta. Otra solución muy eficaz es mostrarles un ejemplo de un problema correctamente resuelto, lo que induce a una forma de aprendizaje rápido (“one shot”, en inglés).
Estos resultados indican una vez más que las prestaciones de estos modelos no son fijas, sino plásticas; Dentro del mismo modelo, cambios aparentemente neutrales en el contexto pueden modificar el desempeño, de manera muy similar a lo que ocurre en los humanos, donde los efectos del encuadre y del contexto (tendencia a verse influenciados por la forma en que se presenta la información) están muy extendidos.
Por otro lado, también observamos que los comportamientos de los LLM difieren de los de los humanos en muchos puntos. Por un lado, entre la docena de modelos probados, encontramos dificultades para encontrar uno que fuera capaz de aproximarse correctamente al nivel de respuestas correctas proporcionadas, a las mismas preguntas, por los seres humanos. En nuestros experimentos, los resultados de los modelos de IA fueron peores o mejores). Por otro lado, si analizamos con más detalle las preguntas formuladas, los modelos no percibieron necesariamente como las más difíciles aquellas que planteaban la mayor dificultad para los humanos.
Estas observaciones sugieren que no podemos sustituir los LLM por sujetos humanos para comprender la psicología humana, como han sugerido algunos autores.
Finalmente, también observamos un hecho relativamente preocupante desde el punto de vista de la reproducibilidad científica. Probamos ChatGPT y GPT-4 con unos meses de diferencia y observamos que su rendimiento había cambiado, pero no necesariamente para mejor.
Esto se corresponde con el hecho de que OpenAI ha modificado ligeramente sus modelos, sin informar necesariamente a la comunidad científica. Trabajar con modelos propietarios no es inmune a estos peligros. Por este motivo, creemos que el futuro de la investigación (cognitiva o no) en LLM debe basarse en modelos abiertos y transparentes para garantizar un mayor control.
Stefano Palminteri, Investigador, Insermo
Este artículo se vuelve a publicar desde The Conversation bajo una licencia Creative Commons. Lea el artículo original.
¿Quieres saber todo sobre la movilidad del mañana, desde los coches eléctricos hasta las bicicletas eléctricas? ¡Suscríbete ahora a nuestro boletín Watt Else!
