CriticGPT permitirá supervisar y corregir mejor la inteligencia artificial. Su función es informar errores de ChatGPT.
OpenAI presentó la semana pasada su nuevo modelo de inteligencia artificial. Este logra identificar errores en el código que ChatGPT puede generar. La start-up californiana diseñó CríticoGPT para mejorar los resultados y refinar la precisión de su popular chatbot generativo.
El’Aprendizaje reforzado a partir de la retroalimentación humana. (RLHF) constituye un proceso crucial en el desarrollo de la inteligencia artificial.
De hecho, es esta técnica la que permite mejorar los resultados y la precisión de los grandes modelos de lenguaje (LLM). La nueva herramienta OpenAI hace que sea más fácil de lograr.
CriticGPT ayuda a los desarrolladores a verificación de código de programación. Los investigadores de la startup californiana detallan su trabajo en este artículo.
Entrenando a un crítico automático
Las capacidades actuales de ChatGPT estan basados en GPT-4 y sus otras versiones. Recuerda que el LLM interno de la startup californiana está disponible en Turbo GPT-4 y GPT-4o.
CriticGPT también se basa en esta familia de grandes modelos de lenguaje. Facilita la tarea de los desarrolladores al realizar análisis de código verter informar posibles errores. Estos pueden escapar a la atención humana.
Fue entrenado utilizando un conjunto de datos de ejemplos de código. Estas muestras contenían errores insertados intencionalmente.
Luego, los desarrolladores proporcionaron comentarios como si hubieran descubierto los errores. Gracias a este método, la IA pudo reconocer e informar varios errores de codificación.
Tres de cada cinco desarrolladores ya prefieren CriticGPT
El desarrollo de CriticGPT requirió una nueva técnica llamada Búsqueda de haz de muestreo de fuerza (FSBS). Esto permite que el chatbot escriba informes muy detallados.
El método también ofrece la posibilidad de ajustar el rigor con el que el chatbot busca errores. Además, controla la frecuencia con la que genera falsos positivos. Como resultado, es menos alucinante que ChatGPT.
CriticGPT ha demostrado su capacidad para detectar errores tanto intencionales como naturales en los resultados de ChatGPT. Los desarrolladores ya parecen apreciar mucho este nuevo asistente de inteligencia artificial.
En efecto, En el 63% de los casos se trata de errores naturales., preferían los comentarios del chatbot a los de otros desarrolladores. Esto generó revisiones más completas.
Más allá de la revisión del código
CriticGPT sobresale, no sólo en la revisión de código, sino también en evaluación de datos de entrenamiento. En los conjuntos destinados a ChatGPT, la nueva herramienta encontró errores (pasados bajo la vigilancia de los desarrolladores) en 24% de los casos.
Esta capacidad de detectar errores que los humanos suelen pasar por alto sugiere su utilidad más allá de la codificación. Sin embargo, esta nueva IA tiene sus límites.
Fue entrenada en respuestas cortas y es posible que haya luchan con tareas más largas y complejas. Su capacidad para reducir las alucinaciones es impresionante, sin embargo no las elimina por completo.
Independientemente, OpenAI planea integrar CriticGPT en su proceso RLHF para mejorar la evaluación de sus resultados LLM.
¿Crees que esta IA pronto estará disponible para los suscriptores?
Comparte el artículo:
Facebook
Gorjeo
LinkedIn
Nuestro blog está impulsado por lectores. Cuando compra a través de enlaces en nuestro sitio, podemos ganar una comisión de afiliado.
