NVIDIA запускает платформу Minerva для улучшенной наблюдаемости AI-фабрик

Image: NVIDIA · Source

NVIDIA представляет Minerva — платформу AIOps, объединяющую телеметрию и ИИ для проактивного управления AI-фабриками, улучшая производительность за счёт выявления и устранения проблем в масштабных инфраструктурах GPU.

NVIDIA запустила Minerva — новую платформу AIOps, предназначенную для обеспечения комплексной наблюдаемости и операционного анализа в масштабных AI-фабриках. Эти AI-фабрики, включающие обширные сети GPU, работающие через высокоскоростные соединения для обучения моделей и обслуживания приложений, сталкиваются с трудностями из-за сложности и масштаба своей инфраструктуры. Единственный неисправный компонент, например, перегревающийся GPU или деградирующий NVMe-диск, может существенно снизить общую производительность.

Minerva решает эти проблемы, консолидируя телеметрические данные из различных источников, включая NVIDIA GPU, сетевое оборудование, хранилища данных, планировщики заданий и AI-нагрузки, в единый динамический граф знаний. Этот граф отображает взаимосвязи между элементами инфраструктуры — GPU, SuperNIC, коммутаторами, кабелями — и выполняемыми на них задачами, что позволяет операторам отслеживать проблемы с производительностью до их коренных причин даже в средах с сотнями тысяч GPU.

Платформа обрабатывает миллиарды точек данных ежечасно, используя как контролируемые, так и неконтролируемые модели машинного обучения, которые изучают нормальное поведение системы, выявляют новые аномалии, прогнозируют потенциальные сбои и связывают связанные события на основе топологии инфраструктуры. Агрегируя симптомы в сфокусированные инциденты с вероятными причинами, Minerva сокращает количество ложных тревог и упрощает устранение неполадок.

Minerva также оснащена встроенным AI-ассистентом и поддерживает интеграцию с внешними агентными AI-инструментами, предоставляя оператору интерфейс на естественном языке для запросов о состоянии кластера и получения рекомендаций по устранению проблем. Это поддерживает вовлечённость команд и позволяет системам автоматизации выполнять исправления через API.

Ключевые преимущества Minerva включают увеличение среднего времени между сбоями за счёт раннего выявления проблем, ускорение времени ремонта благодаря точной идентификации неисправностей, а также обеспечение более прозрачной операционной информации путём фильтрации нерелевантных данных. Это помогает AI-фабрикам максимально использовать время работы GPU и улучшать показатели эффективности, такие как goodput, доступность кластера и производство токенов.

Несколько партнёров, включая IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI и Tesla, планируют внедрять Minerva. Поставщики оборудования Dell Technologies, Lenovo и Supermicro интегрируют Minerva в свои предложения инфраструктуры AI.

Minerva представляет собой важный шаг к проактивному управлению AI-фабриками, позволяя операторам поддерживать продуктивность в всё более сложных средах разработки AI.