CoreWeave lleva NVIDIA Vera Rubin NVL72 a la nube con hasta 4,8 veces más rendimiento en tokens
Aleksandr Manin
CoreWeave anunció el acceso anticipado a los sistemas NVIDIA Vera Rubin NVL72 en CoreWeave Cloud y afirmó que ya puso en marcha un clúster de producción para Cognition. La iniciativa permite a los clientes acceder al nuevo hardware a través de la infraestructura en la nube de CoreWeave, aunque la cifra más llamativa del benchmark procede de una prueba inicial acotada, no de una comparación amplia entre cargas de trabajo.
Para la comparación, Cognition ejecutó agentes de IA en tareas de ingeniería de software extraídas del conjunto de datos FrontierCode. La empresa probó Vera Rubin NVL72 frente a GB200 NVL72, y la cifra comunicada de 4,8 veces corresponde a esas primeras cargas de inferencia SWE-2.
CoreWeave combinó los sistemas con la red Ethernet Spectrum-X 102.4T. Los clientes pueden gestionar los recursos en la nube mediante CoreWeave Kubernetes Service, SUNK, Mission Control, Sandboxes e Inference.
NVIDIA afirmó que los resultados del benchmark podrían traducirse en una generación de código en tiempo real más rápida y un razonamiento en varios pasos más ágil para Devin. CoreWeave puso en marcha un clúster Vera Rubin de producción para Cognition pocos días después de recibir sus primeros racks de producción.
Silas Alberti, de Cognition, dijo que la empresa valora poder reunir en una sola plataforma todos los componentes de su carga de trabajo de programación con agentes, en lugar de centrarse en un único resultado de benchmark.
La programación con agentes es una carga de trabajo compleja: contextos largos, alta concurrencia y volúmenes de tokens en los que el coste por token determina qué podemos lanzar. Para nosotros, tenerlo todo en una plataforma, junto a ingenieros de NVIDIA y CoreWeave que afrontan los problemas más difíciles codo con codo con nuestro equipo, es más importante que cualquier especificación aislada.
Un rack de CPU Vera de CoreWeave contiene 128 procesadores y 11.264 núcleos, suficientes para ejecutar más de 11.000 entornos simultáneos con un núcleo cada uno. CoreWeave también comunicó una mejora de rendimiento de 1,7 veces en las CPU Vera en todas las tareas de Terminal-Bench superadas.
¿Qué importancia debería darse al resultado inicial de 4,8 veces en SWE-2 al evaluar el rendimiento de Vera Rubin NVL72 en la nube en condiciones reales?