NVIDIA startet Minerva-Plattform für verbesserte Beobachtbarkeit von KI-Fabriken

Image: NVIDIA · Source

NVIDIA stellt Minerva vor, eine AIOps-Plattform, die Telemetrie und KI integriert, um KI-Fabriken proaktiv zu verwalten und die Produktivität durch Erkennung und Behebung von Problemen in großflächigen GPU-Infrastrukturen zu steigern.

NVIDIA hat Minerva gestartet, eine neue AIOps-Plattform, die umfassende Beobachtbarkeit und operative Einblicke für großangelegte KI-Fabriken bietet. Diese KI-Fabriken, die umfangreiche Netzwerke von GPUs mit Hochgeschwindigkeitsverbindungen zum Trainieren von Modellen und Bereitstellen von Anwendungen umfassen, stehen vor Herausforderungen durch die Komplexität und das Ausmaß ihrer Infrastruktur. Ein einziger fehlerhafter Bestandteil, wie eine überhitzte GPU oder ein sich verschlechterndes NVMe-Laufwerk, kann die Gesamtleistung erheblich beeinträchtigen.

Minerva begegnet diesen Herausforderungen, indem es Telemetriedaten aus verschiedenen Quellen zusammenführt, darunter NVIDIA-GPUs, Netzwerkausrüstung, Speicher, Scheduler und KI-Arbeitslasten, und diese in einen einzigen dynamischen Wissensgraphen integriert. Dieser Graph stellt die Beziehungen zwischen Infrastrukturelementen — GPUs, SuperNICs, Switches, Kabel — und den darauf laufenden Jobs dar und ermöglicht es den Betreibern, Leistungsprobleme selbst in Umgebungen mit Hunderttausenden von GPUs auf ihre Wurzelursachen zurückzuverfolgen.

Die Plattform verarbeitet jede Stunde Milliarden von Datenpunkten mithilfe überwachsener und unüberwachsener Machine-Learning-Modelle, die das normale Betriebsverhalten erlernen, neuartige Anomalien identifizieren, potenzielle Ausfälle vorhersagen und zusammenhängende Ereignisse basierend auf der Infrastruktur-Topologie korrelieren. Durch das Aggregieren von Symptomen in fokussierte Vorfälle mit wahrscheinlichen Ursachen reduziert Minerva Alarmmüll und vereinfacht die Fehlerbehebung.

Minerva verfügt zudem über einen nativen KI-Assistenten und unterstützt die Integration externer agentenbasierter KI-Werkzeuge, die eine natürlichsprachliche Schnittstelle für Betreiber bieten, um den Zustand von Clustern abzufragen und Vorschläge zur Problemlösung zu erhalten. Dies hält die menschlichen Teams eingebunden, ermöglicht aber gleichzeitig automatisierten Systemen, Korrekturen über APIs durchzuführen.

Wesentliche Vorteile von Minerva sind die Verlängerung der mittleren Zeit zwischen Ausfällen durch frühzeitige Problem­erkennung, Beschleunigung von Reparaturzeiten durch präzise Fehleridentifikation und die Bereitstellung klarerer operativer Einblicke durch das Filtern irrelevanter Daten. Diese Ergebnisse helfen KI-Fabriken, die GPU-Verfügbarkeit und wichtige Kennzahlen wie Goodput, Clusterverfügbarkeit und Token-Produktion zu maximieren.

Mehrere Partner, darunter IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI und Tesla, planen den Einsatz von Minerva. Die Hardware-Anbieter Dell Technologies, Lenovo und Supermicro werden Minerva in ihre KI-Infrastrukturprodukte integrieren.

Minerva stellt einen bedeutenden Schritt in Richtung proaktiver Verwaltung von KI-Fabriken dar und ermöglicht es Betreibern, die Produktivität in zunehmend komplexen KI-Entwicklungsumgebungen aufrechtzuerhalten.