CoreWeave Startet NVIDIA Vera Rubin AI Infrastruktur und Forge Plattform für Produktionsreife Agentische KI

Image: NVIDIA · Source

CoreWeave führt die NVIDIA Vera Rubin NVL72 Systeme und Vera CPU in seiner Cloud ein und verbessert KI-Agenten-Arbeitslasten mit bis zu 4,8-fach schnellerer Inferenz und über 3-fach schnelleren Sandbox-Starts. Außerdem wird CoreWeave Forge vorgestellt, eine einheitliche Umgebung zur Vereinfachung des Trainings und Deployments von KI-Modellen.

CoreWeave, ein Cloud-Anbieter mit Spezialisierung auf KI-Arbeitslasten, hat die Bereitstellung der nächsten Generation der KI-Infrastruktur von NVIDIA in seiner Cloud-Plattform bekannt gegeben, was einen bedeutenden Schritt zur Unterstützung produktionsreifer agentischer KI-Anwendungen markiert. Aufbauend auf fast einem Jahrzehnt enger Zusammenarbeit mit NVIDIA bietet CoreWeave nun das NVIDIA Vera Rubin NVL72 System mit Spectrum-X 102.4T Ethernet Networking seinen Kunden an und liefert erhebliche Verbesserungen bei der Inferenzleistung.

Cognition, ein angewandtes KI-Labor, bekannt für ihren Softwareingenieur Devin AI, ist das erste Unternehmen, das Produktionsarbeitslasten auf Vera Rubin NVL72 betreibt. Erste Benchmarks zeigten, dass die neue Infrastruktur eine bis zu 4,8-fache Steigerung des Token-Durchsatzes für Software-Engineering-Inferenzaufgaben im Vergleich zum vorherigen NVIDIA GB200 NVL72-System bietet. Dieser Gewinn führt zu schnellerer Echtzeit-Codegenerierung und reaktionsfähigerem mehrstufigem Denken für den Devin-Agenten, was für die Bewältigung komplexer Arbeitslasten mit langen Kontexten und hoher Parallelität unerlässlich ist.

Darüber hinaus ist CoreWeave einer der ersten Cloud-Anbieter, der die NVIDIA Vera CPU einführt, einen Prozessor, der von Grund auf für agentische KI-Arbeitslasten entwickelt wurde. Seine Architektur unterstützt das gleichzeitige Ausführen von Tausenden isolierten Umgebungen, eine kritische Anforderung für die Skalierungsbedürfnisse von Agententraining und -bewertung. Tests zeigten, dass CoreWeaves Einsatz von Vera CPUs über dreimal schnellere Starts von Agenten-Sandbox-Umgebungen erreichte, was isoliertes Reinforcement Learning und Bewertungsumgebungen beschleunigt. Die Vera-CPU-Racks bieten bis zu 11.264 Kerne pro Rack und ermöglichen über 11.000 gleichzeitig isolierte Agentenarbeitslasten.

Ergänzend zu diesem Hardware-Rollout wurde CoreWeave Forge eingeführt, eine integrierte Plattform, die entwickelt wurde, um den KI-Entwicklungszyklus zu schließen, indem Trainings-, Bewertungs- und kontinuierliche Verbesserungs-Workflows vereinheitlicht werden. Forge kombiniert Werkzeuge wie Weights & Biases, Expertise von OpenPipe und das Open-Source-Projekt marimo notebook, um eine offene, vernetzte Umgebung zu bieten, die für verschiedene KI-Modelle, Frameworks und Clouds geeignet ist. Neue Funktionen umfassen CoreWeave ARIA für Experimentanalyse und Codeiteration, Agent Lens zur verbesserten Produktionsüberwachung und Fehlererkennung bei Agenten sowie CoreWeave Sandboxes zur sicheren und effizienten Ausführung isolierter KI-Agentenaufgaben.

CoreWeave Forge unterstützt serverloses überwachtes Fine-Tuning und Reinforcement Learning und trainiert Modelle Berichten zufolge 1,4-mal schneller und bei 40 % geringeren Kosten im Vergleich zu selbstverwalteten Setups. Zudem treibt NVIDIAs Open-Source-Inferenz-Framework Dynamo die von CoreWeave verwalteten Inferenzdienste an und unterstützt RL Rollouts, die kontinuierliches Reinforcement Learning ohne erneute Bereitstellung ermöglichen.

Die gemeinsam von NVIDIA und CoreWeave entwickelte Plattform hat eine breite Nutzerbasis von Start-ups bis hin zu Unternehmen angezogen. Beispielsweise nutzt Ennoble Care, ein großer Gesundheitsdienstleister, die Infrastruktur von CoreWeave für klinische KI-Inferenz zur Unterstützung von Dokumentation und Entscheidungsfindung in mehreren Bundesstaaten. CoreWeave hält außerdem renommierte Branchen-Rankings, darunter Platin-Status in mehreren MLPerf-Benchmarks, und bedient neun der zehn führenden KI-Labore.

Diese Fortschritte positionieren CoreWeave und NVIDIA als Schlüsselakteure für den Übergang von KI-Agenten von experimentellen Phasen zu robusten Produktionssystemen, die Softwareentwicklung, klinische Unterstützung und andere komplexe reale Aufgaben bewältigen können. Die neuen Angebote wurden auf dem CoreWeave Fully Connected Technologie-Event in San Francisco angekündigt und vorgestellt.