NVIDIA lanserar Minerva-plattformen för förbättrad övervakning av AI-fabriker

Bild: NVIDIA · Källa

NVIDIA introducerar Minerva, en AIOps-plattform som integrerar telemetri och AI för att proaktivt hantera AI-fabriker och förbättra produktiviteten genom att upptäcka och åtgärda problem i stora GPU-infrastrukturer.

NVIDIA har lanserat Minerva, en ny AIOps-plattform utformad för att tillhandahålla omfattande observabilitet och operativ insikt för storskaliga AI-fabriker. Dessa AI-fabriker, som involverar omfattande nätverk av GPU:er som arbetar över högbandbredds anslutningar för att träna modeller och leverera applikationer, står inför utmaningar på grund av komplexiteten och skalan på deras infrastruktur. En enda felande komponent, som en överhettande GPU eller en försämrad NVMe-disk, kan avsevärt försämra den övergripande prestandan.

Minerva möter dessa utmaningar genom att samla telemetridata från olika källor, inklusive NVIDIA GPU:er, nätverksutrustning, lagring, schemaläggare och AI-arbetsbelastningar, i en enda dynamisk kunskapsgraf. Denna graf kartlägger relationerna mellan infrastrukturelement – GPU:er, SuperNICs, switchar, kablar – och de jobb som körs på dem, vilket möjliggör för operatörer att spåra prestandaproblem till deras grundorsaker även i miljöer med hundratusentals GPU:er.

Plattformen bearbetar miljarder datapunkter varje timme med hjälp av både övervakade och oövervakade maskininlärningsmodeller som lär sig normala driftsbeteenden, identifierar nya avvikelser, förutspår potentiella fel och korrelerar relaterade händelser baserat på infrastrukturens topologi. Genom att samla symptom till fokuserade incidenter med sannolika orsaker minskar Minerva larmbrus och effektiviserar felsökningen.

Minerva har också en inbyggd AI-assistent och stödjer integration med externa agentbaserade AI-verktyg, vilket erbjuder ett naturligt språkgränssnitt för operatörer att fråga om klustrets hälsa och få rekommendationer för åtgärder. Detta håller mänskliga team engagerade samtidigt som automationssystem kan genomföra korrigeringar via API:er.

Viktiga fördelar med Minerva inkluderar att förlänga tiden mellan fel genom tidig problemupptäckt, påskynda reparationstider via exakt felidentifiering och ge tydligare operativa insikter genom filtrering av irrelevant data. Dessa resultat hjälper AI-fabriker att maximera GPU-tillgänglighet och övergripande prestandamått som goodput, klustertillgänglighet och tokenproduktion.

Flera partners, inklusive IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI och Tesla, planerar att använda Minerva. Hårdvaruleverantörer såsom Dell Technologies, Lenovo och Supermicro kommer att integrera Minerva i sina AI-infrastrukturerbjudanden.

Minerva representerar ett betydande steg mot proaktiv hantering av AI-fabriker, vilket gör det möjligt för operatörer att upprätthålla produktiviteten i allt mer komplexa AI-utvecklingsmiljöer.