IA generativa: Databricks amplía su cobertura funcional

La formación, como último recurso

En este sentido, Databricks presentó Mosaic AI Model Training. Pronto estarán disponibles dos módulos: Pretención y Ajuste fino.

El módulo de preentrenamiento se utiliza para modificar una gran parte de los pesos de un LLM preentrenado, más comúnmente llamado modelo básico. Databricks admite tres métodos de capacitación previa: ajuste supervisado, capacitación continua y finalización de conversaciones. La primera técnica tiene como objetivo “enseñar” al modelo nuevas tareas, modificar su tono de respuesta o fortalecer su capacidad para seguir tareas. El segundo tiene como objetivo fortalecer el conocimiento del LLM en un campo específico a partir de un mínimo de 1,5 millones de documentos o muestras. El tercero es mejorar su capacidad para responder preguntas en el formato esperado.

Esto implica reducir diez veces los costes de formación previa en comparación con una infraestructura creada por un cliente. Databricks advierte que no puede admitir conjuntos de datos de más de 10 billones de tokens debido a la disponibilidad de instancias informáticas. “Las GPU son caras, me lo recuerda mi director financiero cada semana”, bromea Ali Ghodsi, cofundador y director ejecutivo de Databricks. La compañía afirma que el año pasado se entrenaron más de 200.000 modelos de IA utilizando su plataforma.

“Las GPU son caras, me lo recuerda mi director financiero cada semana”.

El módulo de ajuste fino promete una interfaz sin código para simplificar la implementación de la técnica LoRA (adaptación de bajo rango de modelos de lenguaje grandes). Consiste en modificar una pequeña parte de las ponderaciones de un LLM con el objetivo de especializarlo en un campo. Aquí, Databricks pretende proponer modificar los LLM de “peso abierto”, incluidos DBRX, varios modelos Mistral, Llama 2 y LLama 3.

Si la técnica no es perfecta, permite a las empresas adaptar los modelos a sus usos a un coste menor.

Los portavoces de Databricks enfatizan, sin embargo, que el uso de Mosaic AI Model Training solo es necesario si la empresa ya ha probado un conjunto de técnicas de ingeniería rápidas, ha implementado una arquitectura RAG (Retrieval Augmented Generation) o no está satisfecha con la velocidad o el costo. de inferencia de LLM o desea obtener la propiedad de un modelo “personalizado”.

RAG y control de resultados

Si el editor sabe que algunos de sus clientes quieren este dominio, sabe que también querrán formas de controlar los resultados de los LLM a menores costos. En este sentido, presentó Mosaic AI Agent Framework. Reúne varias herramientas para “diseñar, implementar y evaluar” aplicaciones RAG.

En su documentación, Databricks detalla todos los pasos necesarios para configurar este tipo de aplicaciones y cómo funciona una arquitectura RAG. Por lo tanto, es posible ingerir datos estructurados y no estructurados en tablas o volúmenes Delta. Luego, debe extraer los datos de archivos PDF o imágenes, metadatos. El editor recomienda “cortar” los documentos en “piezas seleccionadas” que ayudarán a refinar la respuesta de un LLM a una pregunta. Luego, estos “fragmentos” deben vectorizarse utilizando un modelo de incrustación, antes de almacenarlos en una tabla Delta sincronizada con el módulo Databricks Vector Search. Él mismo indexa y almacena los datos en una base de datos vectorial accesible mediante la aplicación RAG. Esta sincronización debería permitir actualizar automáticamente el índice a medida que se agrega una incrustación a la tabla Delta.

“Soy extremadamente optimista sobre el interés de la RAG y lo sigo siendo. Creo que esta técnica llegó para quedarse.[…]»

“Soy extremadamente optimista sobre el interés de la RAG y lo sigo siendo. Creo que esta técnica llegó para quedarse, por tres razones”, afirma Ali Ghodsi durante una rueda de prensa. “En primer lugar, las empresas quieren controlar la seguridad, el acceso y la gestión de roles de sus datos. En segundo lugar, puede actualizar periódicamente los datos de su base de datos, lo que no es posible si utiliza el modelo básico. En tercer lugar, se pueden evitar las alucinaciones”, argumenta.

Además, Databricks pretende ofrecer lo que llama Unity GenAI AI Tools, es decir una forma de registrar funciones remotas, SQL, Python, llamadas a otros LLM y permitir que un agente “dotado de razón”, en resumen un LLM capacitado con la técnica de “cadena de pensamiento” de utilizar estas herramientas. Se registrarán como activos controlables desde el catálogo de Unity, la capa de gobierno de la “Plataforma de Inteligencia de Datos”.

Una vez implementada una aplicación, la función de evaluación del agente Mosaic AI le permite evaluar “la calidad, la latencia y el costo de una aplicación de IA”. En este caso, Databricks se basa en MLFlow y, más concretamente, en la API “Evaluate” que permite realizar estas evaluaciones.

Los desarrolladores primero deben crear un conjunto de datos “verdaderos” antes de confiar en métricas de calidad, rendimiento y costos.

En cuanto a la calidad de las respuestas, Databricks ofrece dos formas de evaluar: una basada en el feedback de los usuarios y la otra mediante un “LLM como juez”.

En el primer caso, las preguntas, respuestas del modelo y opiniones de los usuarios se recogen en una tabla Delta para establecer estadísticas. El segundo caso permite automatizar este proceso apoyándose en un LLM responsable de clasificar la calidad de las respuestas o resultados.

Para mantener el control sobre estos resultados, Databricks presentó Mosaic AI Gateway, una API basada en MLFLow junto al servicio de implementación Model Serving. Este punto final debe usarse para establecer límites de llamadas a modelos, administrar permisos y acceso, realizar un seguimiento del uso y configurar barreras de seguridad (filtros).

Es “demasiado pronto” para declarar un ganador en IA generativa

Si explica un poco más claramente la articulación entre los diferentes bloques de su plataforma, Databricks está al mismo nivel que sus competidores, según los analistas.

Al igual que AWS, Google, Microsoft, Oracle, Snowflake y otros, la mayoría de los anuncios se encuentran en vista previa pública o privada.

“Es bueno ver estos anuncios”, dice Dave Menninger, analista de Ventana Research [propriété d’ISG], de Searchdatamanagement, una publicación hermana de MagIT. “Estos son ciertamente pasos en la dirección correcta, pero las empresas necesitan funciones que estén disponibles de forma general, confiables y respaldadas por soporte garantizado”.

“Como un copo de nieve [lors de sa conférence annuelle], Databricks anuncia avances”, añade Kevin Petrie, analista de BARC US. “La verdadera prueba será llegar a la disponibilidad general lo más rápido posible”.

Por lo tanto, según Kevin Petrie, sería “demasiado pronto” para declarar un ganador en la carrera armamentista GenAI.

“Dado que, en última instancia, GenAI será más una función que una iniciativa independiente, los ganadores serán aquellos que puedan ayudar a las empresas a integrarla en sus sistemas y aplicaciones existentes”.

“Dado que, en última instancia, GenAI será más una función que una iniciativa independiente, los ganadores serán aquellos que puedan ayudar a las empresas a integrarla en sus sistemas y aplicaciones existentes”, sugiere. Un deseo compartido por los clientes de Snowflake y Databricks, según los comentarios recogidos durante las últimas dos semanas por LeMagIT.

Dave Menninger no ve ninguna oferta para combinar el aprendizaje automático y la IA generativa. Si eso no está tan claro como podría ser, ese es uno de los objetivos de funciones como Unity GenAI Tools y la suite AI/BI.

Ali Ghodsi, por su parte, sugiere que Databricks y sus competidores tienen tiempo. “Estoy muy emocionado por eso. La inteligencia artificial generativa es, por supuesto, el futuro, pero sólo estamos en el día uno entre un millón. Así que creo que es muy temprano”.

Según él, la prioridad para las empresas reside en la seguridad, la gobernanza y la ingeniería de datos.