Nvidia ha ampliado las capacidades de Chat para RTX (ChatRTX) agregando soporte para modelos de lenguaje grande (LLM) adicionales, así como soporte para visión y voz en la última versión. El chatbot local gratuito no necesita enviar datos en línea cuando trabaja con información del usuario, lo que ayuda a mantener las discusiones confidenciales.
Los diferentes LLM son adecuados para diferentes propósitos: debates generales, artículos científicos, redacción de ensayos, etc. Algunos LLM también tienen una formación estricta para censurar los resultados, lo que hace que algunos LLM sean más útiles que otros. Los modelos TensorRT-LLM disponibles anteriormente incluían el modelo Mistral predeterminado y Llama 2. Nvidia ha abierto ChatRTX a algunos modelos nuevos, Gemma y ChatGLM3.
Gemma es un LLM desarrollado por Google DeepMind y lanzado en 2024 en forma de modelos de parámetros de dos y siete mil millones. Las plantillas están altamente optimizadas para filtrar discursos confidenciales, información personal y respuestas riesgosas o peligrosas.
ChatGLM3 es un LLM desarrollado por Zhipu AI y Tsinghua KEG, lanzado en 2023 como un modelo de seis mil millones de parámetros. El modelo bilingüe chino-inglés fue diseñado para ser un fuerte competidor de código abierto para ChatGPT de OpenAI.
Nvidia agregó la red neuronal CLIP de OpenAI a ChatRTX para reconocer automáticamente imágenes y asociarles el texto correspondiente. Por ejemplo, si CLIP recibe una imagen de un presentador de televisión, cámaras de retransmisión y luces en una habitación, etiquetará la imagen como una fotografía de un estudio de televisión. Por lo tanto, ChatRTX puede trabajar con imágenes sin etiquetado manual de contenido. El sistema de reconocimiento de voz Whisper de OpenAI también se agregó a ChatRTX, lo que permite a los usuarios pronunciar indicaciones en ChatRTX.
Los lectores que quieran probar un chatbot local pueden descargar Nvidia ChatRTX en https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/ siempre que cumplan con los siguientes requisitos. El chatbot local funciona en PC equipadas con una tarjeta gráfica Nvidia GeForce RTX 30 o 40 Ampere y también se admiten tarjetas gráficas Ada con al menos 8 GB de VRAM. Aquellos que no tengan una tarjeta compatible pueden comprar una tarjeta Nvidia rápida en Amazon. Otros requisitos del sistema son Windows 11, 16 GB de RAM, un mínimo de 35 GB de espacio de almacenamiento libre y la versión del controlador 535.11 o posterior.
