NVIDIA wprowadza platformę Minerva dla lepszej obserwowalności fabryk AI

Image: NVIDIA · Source

NVIDIA przedstawia Minervę, platformę AIOps integrującą telemetrię i sztuczną inteligencję w celu proaktywnego zarządzania fabrykami AI, poprawiając wydajność poprzez wykrywanie i rozwiązywanie problemów w rozległych infrastrukturach GPU.

NVIDIA wprowadziła Minervę, nową platformę AIOps zaprojektowaną, aby zapewnić kompleksową obserwowalność i wgląd operacyjny dla wielkoskalowych fabryk AI. Te fabryki AI, które obejmują rozległe sieci GPU pracujących przez szybkie połączenia do trenowania modeli i obsługi aplikacji, napotykają na wyzwania związane z złożonością i skalą swojej infrastruktury. Pojedynczy uszkodzony komponent, taki jak przegrzewający się GPU lub degradowany dysk NVMe, może znacznie utrudnić ogólną wydajność.

Minerva odpowiada na te wyzwania przez konsolidację danych telemetrycznych z różnych źródeł, w tym z GPU NVIDIA, sprzętu sieciowego, magazynu danych, schedulerów oraz zadań AI, w jeden dynamiczny graf wiedzy. Graf ten mapuje relacje między elementami infrastruktury — GPU, SuperNIC, przełącznikami, kablami — oraz zadaniami na nich działającymi, co umożliwia operatorom śledzenie problemów wydajnościowych do ich pierwotnych przyczyn nawet w środowiskach z setkami tysięcy GPU.

Platforma przetwarza miliardy punktów danych co godzinę przy użyciu zarówno nadzorowanych, jak i nienadzorowanych modeli uczenia maszynowego, które uczą się normalnego zachowania operacyjnego, identyfikują nowe anomalie, przewidują potencjalne awarie i korelują powiązane zdarzenia na podstawie topologii infrastruktury. Poprzez agregację objawów w ukierunkowane incydenty z prawdopodobnymi przyczynami, Minerva redukuje hałas alertów i usprawnia rozwiązywanie problemów.

Minerva posiada także natywnego asystenta AI oraz wspiera integrację z zewnętrznymi narzędziami agentowymi AI, oferując interfejs w języku naturalnym, pozwalający operatorom na zadawanie pytań dotyczących stanu klastra i otrzymywanie rekomendacji naprawczych. To angażuje zespoły ludzkie, jednocześnie umożliwiając systemom automatyzacji wdrażanie poprawek przez API.

Główne korzyści Minervy to wydłużenie średniego czasu między awariami dzięki wczesnemu wykrywaniu problemów, przyspieszenie czasu naprawy poprzez precyzyjną identyfikację usterek oraz zapewnienie jaśniejszych wglądów operacyjnych przez filtrowanie nieistotnych danych. Wyniki te pomagają fabrykom AI maksymalizować czas pracy GPU oraz ogólne wskaźniki wydajności, takie jak goodput, dostępność klastra i produkcja tokenów.

Kilku partnerów, w tym IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI oraz Tesla, planuje wdrożyć Minervę. Dostawcy sprzętu Dell Technologies, Lenovo i Supermicro zintegrują Minervę ze swoimi ofertami infrastruktury AI.

Minerva stanowi istotny krok w kierunku proaktywnego zarządzania fabrykami AI, umożliwiając operatorom utrzymanie produktywności w coraz bardziej złożonych środowiskach rozwoju AI.