XALIMANEWS- En una entrevista retransmitida en su plataforma X, Elon Musk planteó el problema de la escasez de datos para entrenar la inteligencia artificial. La solución estaría en los datos sintéticos, lo que no está exento de riesgos…
Todo el conocimiento de la humanidad ya no es suficiente para entrenar la inteligencia artificial. Esta es la afirmación de Elon Musk durante una conversación con Mark Penn, presidente y director ejecutivo de Stagwell, retransmitida en directo por X (antes Twitter). El problema de la escasez de datos es una de las principales debilidades de los grandes modelos lingüísticos actuales, y se viene discutiendo desde hace algún tiempo.
« Ya hemos agotado la suma acumulada del conocimiento humano… en el entrenamiento de la IAdeclaró el multimillonario. Esto sucedió el año pasado. » La solución está en los datos sintéticos, según muchos especialistas, incluido Elon Musk. Esto significa que las IA deberán capacitarse con datos generados por IA y evaluarse a sí mismas.
¿Hacia un colapso de los modelos de IA provocado por datos sintéticos?
El uso de datos sintéticos no es nada nuevo. Además de superar la escasez de datos, esto también reduce el coste de la formación. La startup Writer afirma haber podido reducir el coste de entrenamiento de su modelo Palmyra X 004 a 700.000 dólares, frente a una factura de 4,6 millones de dólares si no hubiera utilizado datos sintéticos. Microsoft indicó que utilizó datos sintéticos para su modelo abierto Phi-4, al igual que Google con su modelo Gemma, Anthropic con Claude 3.5 Sonnet y Meta con Llama.
Uno de los problemas mencionado por Musk es el riesgo de sufrir alucinaciones. ¿Qué sucede cuando una IA se entrena con datos producidos por otra IA que contienen errores? La IA degenera, en un fenómeno llamado colapso del modelo, o colapso del modelo. El riesgo es una reducción de la creatividad y un aumento del sesgo, lo que podría obligar a las empresas a repensar cómo se diseñan los grandes modelos lingüísticos.
Related News :