Investigadores de Apple, el gigante informático, dicen haber descubierto evidencia en pruebas de que las respuestas supuestamente inteligentes proporcionadas por grandes modelos de lenguaje basados en IA son en gran medida ilusiones.
En sus resultados subidos al servidor de prepublicación arXiv, estos especialistas sostienen que tras probar varios de estos modelos descubrieron que no son capaces de realizar tareas que requieran un razonamiento real.
En los últimos años, señalan los investigadores, varios modelos de lenguaje, como ChatGPT, han progresado hasta tal punto que muchos usuarios han comenzado a preguntarse si este software está realmente dotado de inteligencia.
Como parte de este nuevo trabajo de investigación, los especialistas de Apple examinaron esta cuestión, creyendo que la respuesta está en la capacidad de un ser o máquina inteligente para comprender los matices presentes en diversas situaciones simples, que requieren un razonamiento lógico.
Uno de estos matices es la capacidad de separar la información relevante de la irrelevante. Si un niño pregunta a sus padres cuántas manzanas hay en una bolsa, pero descubre que muchas de ellas son demasiado pequeñas para comerlas, el niño y sus padres entienden que el tamaño de la fruta no tiene nada que ver con su número. Esto se debe a que ambas personas poseen habilidades de razonamiento lógico.
Y así, en su estudio, los investigadores de Apple sometieron a pruebas varios modelos de lenguaje para determinar si los programas de computadora realmente entendían lo que se les pedía, exigiéndoles indirectamente que ignoraran información irrelevante.
Para ello, formularon varios cientos de preguntas a varios modelos, preguntas que ya se habían utilizado para evaluar las capacidades de ese mismo software, pero los investigadores también incluyeron algunos datos superfluos. Y descubrieron que esto era suficiente para causar confusión dentro de los modelos lingüísticos, haciéndolos dar respuestas erróneas, o incluso completamente extravagantes, a preguntas para las que previamente habían dado respuestas correctas.
Los investigadores creen que esto demuestra que el software de IA no comprende realmente lo que se le pide. Más bien, reconocen la estructura de una oración y brindan una respuesta basada en lo que han aprendido mediante algoritmos de aprendizaje automático.
Los especialistas de Apple señalan además que la mayoría de los modelos de lenguaje probados a menudo responden con información que puede parecer correcta, pero tras una observación más cercana, vemos que se trata más bien de errores, como cuando le preguntamos a la IA cómo se “siente” acerca de algo, y responde de tal manera que sugiere que es capaz de tal comportamiento.
