CoreWeave lanserer NVIDIA Vera Rubin AI-infrastruktur og Forge-plattform for produksjonsklar agentisk AI

Bilde: NVIDIA · Kilde

CoreWeave introduserer NVIDIA Vera Rubin NVL72-systemer og Vera CPU til sin sky, og forbedrer AI-agentarbeidsbelastninger med opptil 4,8 ganger raskere inferens og over 3 ganger raskere sandbox-oppstart. De lanserer også CoreWeave Forge, et samlet miljø for å effektivisere AI-modelltrening og distribusjon.

CoreWeave, en sky-leverandør som spesialiserer seg på AI-arbeidsbelastninger, har kunngjort utrulling av NVIDIAs neste generasjons AI-infrastruktur i sin skyplattform, noe som markerer et betydelig steg i å støtte produksjonsklare agentiske AI-applikasjoner. Med nesten et tiår med nært samarbeid med NVIDIA, tilbyr CoreWeave nå NVIDIA Vera Rubin NVL72-systemet utstyrt med Spectrum-X 102,4T Ethernet-nettverk til sine kunder, og leverer betydelige forbedringer i inferensytelse.

Cognition, et anvendt AI-laboratorium kjent for sin Devin AI-programvareingeniør, er først ute med å kjøre produksjonsarbeidsbelastninger på Vera Rubin NVL72. Tidlige benchmark-tester viste at den nye infrastrukturen gir opptil 4,8 ganger økt token-gjennomstrømning for programvareingeniørinferensoppgaver sammenlignet med NVIDIAs tidligere GB200 NVL72-system. Denne gevinsten resulterer i raskere sanntidskodegenerering og mer responsiv flerstegsresonnering for Devin-agenten, viktig for å håndtere komplekse arbeidsbelastninger med lange kontekster og høy samtidighet.

Samtidig er CoreWeave blant de første sky-leverandørene som introduserer NVIDIA Vera CPU, en prosessor designet fra bunnen av for agentiske AI-arbeidsbelastninger. Arkitekturen støtter kjøring av tusenvis av isolerte miljøer samtidig, et kritisk krav for skaleringsbehovene ved agentopplæring og evaluering. Testing viste at CoreWeaves utrulling av Vera CPU-er oppnådde mer enn tre ganger raskere oppstartstider for agent-sandboxer, noe som akselererer isolert forsterkningslæring og evalueringsmiljøer. Vera CPU-racker tilbyr opptil 11 264 kjerner per rack, som muliggjør over 11 000 samtidige isolerte agentarbeidsbelastninger.

Som et supplement til denne maskinvareutrullingen lanserer CoreWeave Forge, en integrert plattform som er utformet for å lukke AI-utviklingssløyfen ved å samle trening, evaluering og kontinuerlige forbedringsarbeidsflyter. Forge kombinerer verktøy som Weights & Biases, ekspertise fra OpenPipe og det åpne marimo-notatbokprosjektet for å tilby et åpent, sammenkoblet miljø som er egnet for forskjellige AI-modeller, rammeverk og skyer. Nye funksjoner inkluderer CoreWeave ARIA for eksperimentanalyse og kodegjentakelser, Agent Lens for forbedret overvåkning av produksjonsagenter og feiloppdagelse, og CoreWeave Sandboxes for å kjøre isolerte AI-agentoppgaver trygt og effektivt.

CoreWeave Forge støtter serverløs overvåket finjustering og forsterkningslæring, og trenes angivelig 1,4 ganger raskere og til 40 % lavere kostnad sammenlignet med selvadministrerte oppsett. I tillegg driver NVIDIAs åpne inferensrammeverk Dynamo CoreWeaves administrerte inferenstjenester og støtter RL Rollouts, som muliggjør kontinuerlig forsterkningslæring uten omdistribusjon.

Den kombinerte NVIDIA og CoreWeave-plattformen har tiltrukket et mangfold av brukere fra oppstartsbedrifter til store selskaper. For eksempel bruker Ennoble Care, en stor helseleverandør, CoreWeaves infrastruktur for klinisk AI-inferens for å støtte dokumentasjon og beslutningstaking på tvers av flere stater. CoreWeave har også fremstående bransjerangeringer, inkludert Platinstatus i flere MLPerf-benchmarks, og betjener ni av de ti største AI-laboratoriene.

Disse fremskrittene plasserer CoreWeave og NVIDIA som nøkkelspillere for å muliggjøre overgangen av AI-agenter fra eksperimentstadier til robuste produksjonssystemer som kan utføre programvareutvikling, klinisk støtte og andre komplekse oppgaver i virkeligheten. De nye tilbudene ble annonsert og vist frem på CoreWeave Fully Connected, et teknologisk arrangement holdt i San Francisco.