Es en X que Mistral AI eligió anunciar Mixtral 8x22B el miércoles pasado usando un https://twitter.com/mistralai/status/1777869263778291896 Torrente magnético. El joven unicornio no ha publicado un comunicado de prensa ni ha dedicado un blog en su sitio a este último modelo, por lo que por el momento sabemos poco sobre este nuevo modelo de código abierto, pero las primeras pruebas están llegando a Hugging Face.
Mistral AI lanzó Mixtral 8x7B en diciembre pasado, podemos suponer que Mixtral 8x22B es una versión más eficiente.
Estos 2 modelos Mixtral 8x se basan en una arquitectura de mezcla dispersa de expertos (SMoE) publicada bajo la licencia Apache 2.0.
Como modelo solo decodificador, Mixtral 8x7B utiliza un bloque de retroalimentación para elegir entre ocho grupos distintos de parámetros. En cada capa y para cada token, una red de enrutadores selecciona dos de estos grupos, llamados “expertos”, para procesar el token y combinar su salida de manera aditiva.
Este enfoque aumenta la cantidad total de parámetros del modelo al tiempo que controla el costo y la latencia. Mixtral 8xB tiene 46,7 mil millones de parámetros en total, pero usa solo 12,9 mil millones de parámetros por token, procesando entradas y generando salidas a la misma velocidad y costo que un modelo 12,9B. El modelo está previamente entrenado con datos extraídos de la web abierta, lo que permite el entrenamiento simultáneo de expertos y enrutadores.
El enfoque fue el mismo para Mixtral 8x22B cuyo número de parámetros puede llegar a 176 mil millones y la ventana emergente de 65,000 tokens.
Si bien algunos vieron en el acuerdo de distribución que Mistral AI firmó con Microsoft un abandono del código abierto, la start-up les demuestra que no es así, como aseguró ante las críticas.
