HPE persigue la IA empresarial con motores GPU Nvidia

Esta semana es otra conferencia importante para un OEM de servidores, y eso debe significar que es otro momento para que un OEM anuncie su estrecha asociación con el gigante del motor informático de IA Nvidia.

Esta semana, es Hewlett Packard Enterprise, la que intenta jugar en ambos lados del mercado de GPU, centrándose en los motores AMD para al menos algunas de sus máquinas más grandes (a menudo sistemas híbridos HPC/AI en los laboratorios nacionales de Estados Unidos y Europa). ) y motores Nvidia para sus crecientes aspiraciones de IA (y su cartera de pedidos) entre los clientes empresariales.

Durante la conferencia de desarrolladores GTC 2024 de Nvidia en marzo, el fundador y director ejecutivo Jensen Huang enfatizó que su empresa no era simplemente un fabricante de GPU o una empresa de nube, es una “empresa de plataforma”. Nvidia tiene una amplia combinación de hardware, desde GPU muy demandadas hasta supercomputadoras y su interconexión NVLink, herramientas de software como CUDA y AI Enterprise, y paquetes para industrias específicas como atención médica, automotriz y servicios financieros, todo envuelto por su década. centrarse durante mucho tiempo en la IA.

El crecimiento explosivo de la innovación y la adopción de la IA generativa desde finales de 2022 y el fuerte cambio que lo acompaña en esa dirección por parte de casi todos los proveedores de TI han convertido a Nvidia en el socio de IA de referencia para las empresas de hardware y software por igual. En GTC, Nvidia anunció asociaciones ampliadas con empresas como Google y SAP, y en la conferencia Dell Technologies World del mes pasado, Dell amplió su Dell AI Factory con Nvidia, también presentada en GTC, para incluir nuevo hardware.

A principios de este mes, Cisco Systems presentó su clúster de IA Nexus HyperFabric, una combinación de su propia red de IA y la plataforma de software de computación acelerada y AI Enterprise de Nvidia, junto con el almacenamiento de VAST Data, destinada a permitir que las empresas ejecuten más fácilmente cargas de trabajo de IA.

Ahora es el turno de HPE. En su feria Discover 2024 esta semana en Las Vegas, las compañías anunciaron Nvidia AI Computing de HPE, una colección de ofertas de inteligencia artificial desarrolladas conjuntamente y estrategias de comercialización destinadas a impulsar la informática de inteligencia artificial en las empresas. En su base hay tres servidores HPE, incluido el ProLiant DL380a Gen12 con ocho GPU H200 NVL Tensor Core de Nvidia y el DL384 Gen 12 con aceleradores GH200 NVL2.

El Cray XD670 tiene ocho núcleos tensoriales NVL H200 y está dirigido a empresas que crean LLM. HPE también adoptará los próximos chips de Nvidia cuando lleguen al mercado, incluidas sus GPU GB200 NVL72 y NVL2 y sus aceleradores Blackwell, Rubin y Vera.

Junto a esto está HPE Private Cloud AI, que incluye la plataforma de software AI Enterprise de Nvidia y los microservicios de inferencia (NIM) de Nvidia, que se anunciaron en GTC y que esencialmente son contenedores virtualizados que incluyen todo, incluidas API, motores de interferencia y modelos de IA optimizados. las empresas necesitan crear y ejecutar sus cargas de trabajo de inferencia. HPE también trae su software AI Essentials y una infraestructura que incluye la red Ethernet Spectrum-X de Nvidia, el servicio GreenLake para almacenamiento de archivos de HPE y los servidores ProLiant.

Las empresas tendrán cuatro tamaños de configuración (pequeña, mediana, grande y extragrande) para elegir, con una cantidad correlativa de GPU, espacio de almacenamiento, capacidades de red y consumo de energía. Las empresas pueden elegir su configuración según sus necesidades, desde el tamaño más pequeño, bueno para cargas de trabajo de inferencia, hasta el más grande para inferencia, generación aumentada de recuperación (RAG) y tareas de precisión.

Las organizaciones podrán poner en marcha la IA de la nube privada de HPE con tres clics, dijo Fidelma Russo, vicepresidenta ejecutiva y directora general de nube híbrida y CTO de HPE, durante una sesión informativa antes de que comenzara la feria.

“Cada configuración es modular y le permite ampliar o agregar capacidad con el tiempo y mantener una experiencia consistente y administrada en la nube con la nube HPE GreenLake”, dijo Russo. “Puede comenzar con algunos módulos de inferencia de modelos pequeños y escalar a múltiples casos de uso con mayor rendimiento, y puede tener ajustes finos de RAG o LLM en una sola solución. Ofrecemos opciones de cómo consumirlo y una variedad de soporte, desde autoadministrado hasta brindarlo como un servicio totalmente administrado”.

Neil MacDonald, vicepresidente ejecutivo y director general de computación, HPC e IA de HPE, añadió que a medida que la IA de la nube privada de HPE madure, el proveedor incorporará su refrigeración líquida a la mezcla.

“La refrigeración líquida directa es increíblemente relevante para el futuro de las plataformas de IA en la empresa”, afirmó MacDonald. “Con una cartera de más de 300 patentes, abarcamos desde refrigeración líquida hasta refrigeración por aire, utilizando el suministro de agua helada desde una instalación para enfriar los sistemas de refrigeración por aire adyacentes a los servidores enfriados por aire. Construimos sistemas con 70 por ciento de refrigeración líquida directa que combina refrigeración líquida directa y refrigeración por aire. Y tenemos sistemas 100 por ciento enfriados por líquido directo, en los que el refrigerante fluye a través de una red de tubos y placas frías para extraer el calor directamente de todos los componentes del servidor”.

Las ofertas conjuntas de HPE y Nvidia son ejemplos de lo que, según Jensen, son las formas en que la IA está cambiando la apariencia y el funcionamiento de las cosas en el centro de datos y la nube.

“Esta es la mayor transformación fundamental de una plataforma informática en 60 años, desde la computación de propósito general a la computación acelerada, desde el procesamiento en CPU al procesamiento en CPU más GPU, desde instrucciones, instrucciones diseñadas hasta modelos de lenguaje ahora grandes que se entrenan con datos de instrucción. informática impulsada a la informática impulsada por la intención, cada capa de la pila informática se ha transformado, como sabemos muy bien, y el tipo de aplicaciones que ahora es posible escribir y desarrollar son completamente nuevas”, dijo Jensen mientras estaba parado al lado. al presidente y director ejecutivo de HPE, Antonio Neri, en el escenario principal. “La forma en que se desarrolla la aplicación es completamente nueva, por lo que cada capa de la pila informática está pasando por una transición”.

Este rápido cambio hacia la IA ha sido muy bueno para Nvidia, cuyos ingresos en el primer trimestre aumentaron un 262% año tras año a 26 mil millones de dólares y su valor de mercado alcanzó los 3 billones de dólares. La demanda de sus GPU H100 Tensor Core (los aceleradores de referencia para cargas de trabajo de IA, cuya empresa suministra hasta el 90 por ciento de las GPU) continúa superando la oferta.

Intel y AMD tienen GPU, proveedores de nube a hiperescala como Google, Microsoft y Amazon Web Services (AWS) están fabricando sus propios chips para IA, y parece haber una creciente lista de nuevas empresas que están buscando un punto de apoyo en el mercado. Sin embargo, lo que les falta a algunas de estas empresas son otros factores, como sistemas, software y ecosistema de inteligencia artificial, que Nvidia también pone sobre la mesa, lo que hará que sea difícil derribar a la empresa de la cima de la colina.

A MacDonald de HPE se le preguntó durante la conferencia de prensa por qué HPE está apostando por Nvidia, dado que la asociación también tiene con AMD para aceleradores de IA.

“El éxito de la IA generativa empresarial depende no sólo del silicio acelerador, sino también de las estructuras, del diseño de sistemas, de los modelos, de las herramientas de software y de las optimizaciones de esos modelos en tiempo de ejecución”, afirmó. “Estamos encantados de trabajar estrechamente con Nvidia con un conjunto muy sólido de capacidades que en conjunto nos permiten que nuestros clientes empresariales puedan avanzar mucho más rápidamente en sus viajes empresariales. Es clave tener en cuenta que esta IA de nube privada de HPE no es una arquitectura de referencia que impondría al cliente la carga de ensamblar su infraestructura de IA ensamblando piezas, ya sean GPU o piezas de software o conectividad diferente. HPE y Nvidia han hecho el arduo trabajo para los clientes al desarrollar conjuntamente una nube privada de IA llave en mano que está lista y funcionando con tres clics. Esto va mucho más allá de una simple cuestión de acelerador”.