Gracias a un nuevo modelo de lenguaje pequeño (SLM) desarrollado por un equipo de investigadores de IA de Adobe Inc. y colegas de la Universidad de Auburn y Georgia Tech, las nuevas aplicaciones de IA para teléfonos inteligentes podrán procesar documentos localmente, sin acceso a la nube. Este SLM se llama SlimLM y los detalles completos al respecto se han publicado en arXiv.
“A través de extensos experimentos en un Samsung Galaxy S24, identificamos compensaciones óptimas entre el tamaño del modelo (que van desde 125M a 7B de parámetros), la longitud del contexto y el tiempo de inferencia para un procesamiento eficiente en el dispositivo. SlimLM está pre-entrenado en SlimPajama-627B y está bien. -Sintonizado en DocAssist, nuestro conjunto de datos creado para tareas de resúmenes, respuesta a preguntas y sugerencias. El modelo demuestra un rendimiento eficiente en el S24, mientras que las variantes más grandes ofrecen capacidades mejoradas bajo limitaciones móviles”,
reveló el equipo de investigación.
SlimLM aún no está disponible para el público en general, pero no pasará mucho tiempo. Usando este fragmento de código, un teléfono inteligente puede usar localmente el poder de la IA para procesar documentos sin siquiera conectarse a Internet. Si bien las soluciones de IA basadas en la nube suelen utilizar mucha menos potencia informática local que las aplicaciones ejecutadas localmente, la característica más importante que ofrecen es la privacidad. Hasta ahora, grandes nombres del sector, como Google, Apple y Meta, ya han desarrollado aplicaciones de este tipo. Desafortunadamente, su estatus sigue siendo bastante experimental y ninguno de ellos ha llegado al público en general. Si los planes de los investigadores antes mencionados se hacen realidad, SlimLM podría convertirse en la primera solución de este tipo.
Aquellos interesados en SlimLM y otras soluciones similares deberían adquirir Demystifying AI: Your Guide to Mastering Small Language Models de Jesse Sprinter, que actualmente está disponible por $ 7,11 en formato Kindle, mientras que el libro de bolsillo se vende por $ 18,99.
