NVIDIA lanserer Minerva-plattformen for bedre observabilitet i AI-fabrikker

Bilde: NVIDIA · Kilde

NVIDIA introduserer Minerva, en AIOps-plattform som integrerer telemetri og AI for å proaktivt administrere AI-fabrikker og forbedre produktiviteten ved å oppdage og løse problemer i store GPU-infrastrukturer.

NVIDIA har lansert Minerva, en ny AIOps-plattform designet for å tilby omfattende observabilitet og operasjonell innsikt for storskala AI-fabrikker. Disse AI-fabrikkene, som involverer omfattende nettverk av GPUer som arbeider over høyhastighetsforbindelser for å trene modeller og levere applikasjoner, står overfor utfordringer på grunn av kompleksiteten og skalaen på deres infrastruktur. En enkelt feilaktig komponent, som en overopphetet GPU eller en nedbrutt NVMe-stasjon, kan betydelig hemme den totale ytelsen.

Minerva adresserer disse utfordringene ved å samle telemetridata fra ulike kilder inkludert NVIDIA GPUer, nettverksutstyr, lagring, planleggere og AI-arbeidsbelastninger i en enkelt dynamisk kunnskapsgraf. Denne grafen kartlegger forholdene mellom infrastrukturenheter — GPUer, SuperNICer, svitsjer, kabler — og jobbene som kjører på dem, noe som gjør det mulig for operatører å spore ytelsesproblemer til roten av problemet selv i miljøer med hundretusener av GPUer.

Plattformen behandler milliarder datapunkter hver time ved hjelp av både overvåket og uovervåket maskinlæring som lærer normal operasjonell atferd, identifiserer nye avvik, forutser potensielle feil og korrelerer relaterte hendelser basert på infrastrukturen sin topologi. Ved å aggregere symptomer til fokuserte hendelser med sannsynlige årsaker reduserer Minerva varslingsstøy og strømlinjeformer feilsøking.

Minerva har også en innebygd AI-assistent og støtter integrasjon med eksterne agentbaserte AI-verktøy, og tilbyr et naturlig språkgrensesnitt for operatører til å undersøke klyngens helse og få anbefalinger for utbedring. Dette holder menneskelige team engasjerte samtidig som automatiseringssystemer kan utføre tiltak via API-er.

Viktige fordeler med Minerva inkluderer å forlenge gjennomsnittlig tid mellom feil ved tidlig problemoppdagelse, akselerere reparasjonstider ved presis feilidentifikasjon, og gi klarere operasjonelle innsikter ved å filtrere irrelevant data. Disse resultatene hjelper AI-fabrikker å maksimere GPU-oppetid og overordnede produksjonsmål som goodput, klyngens tilgjengelighet og tokenproduksjon.

Flere partnere, inkludert IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI og Tesla, planlegger å implementere Minerva. Maskinvareleverandører Dell Technologies, Lenovo og Supermicro vil integrere Minerva i sine AI-infrastrukturtilbud.

Minerva representerer et betydelig steg mot proaktiv AI-fabrikkstyring, noe som gjør det mulig for operatører å opprettholde produktivitet i stadig mer komplekse AI-utviklingsmiljøer.