NVIDIA Расширяет Платформу Cosmos Продвинутыми Инструментами для Создания и Развертывания Физических Моделей Мира ИИ

Image: NVIDIA · Source

Компания NVIDIA улучшила платформу Cosmos, добавив новые инструменты обучения, контрольные точки симуляций и шаблоны Cosmos Data Factory, что ускоряет разработку, оценку и внедрение физических моделей мира ИИ, моделирующих реальные взаимодействия в различных отраслях.

Компания NVIDIA объявила о значительных улучшениях платформы Cosmos, направленных на развитие создания и внедрения моделей мира — сложных систем ИИ, которые помогают машинам воспринимать, понимать и симулировать физический мир. Эти возможности имеют решающее значение для таких приложений, как автономные транспортные средства, робототехника и промышленный контроль.

В основе платформа Cosmos предоставляет разработчикам моделей мира передовые открытые модели, обширные тренировочные данные и комплексные инструменты для оптимизации и развертывания. NVIDIA сообщает, что модели Cosmos входят в пятерку лучших по шести различным рейтингам открытых моделей, подтверждая их конкурентоспособность.

Ключевой частью обновления является Cosmos Data Factory — набор облачных шаблонов, предназначенных для создания и обогащения больших, помеченных мультисенсорных наборов данных, необходимых для обучения физического ИИ. Шаблоны автоматизируют задачи, такие как маркировка данных, кураторство, расширение и генерация синтетических данных в различных сценариях. Например, специализированные шаблоны позволяют генерировать наборы данных для автономных транспортных средств с курированными и синтетическими данными вождения, создавать видео событий для моделирования редких или опасных ситуаций и генерировать изображения дефектов для моделей контроля качества. Поддерживаемый на платформах, включая GitHub, Microsoft Azure, Nebius и CoreWeave, Cosmos Data Factory ускоряет рабочие процессы с использованием агентных функций и ускорения на GPU.

Автомобильная компания Porsche использует Cosmos Data Factory через Voxel51 на Microsoft Azure для создания общего экосистемного данных автономных транспортных средств (AV) среди брендов Volkswagen Group. Эта инициатива направлена на сокращение повторяющихся физических тест-драйвов до 90% и укорочение циклов разработки до 85%. Аналогично, робототехническая компания ANYbotics применила инструменты Cosmos для создания более 1500 синтетических видеоклипов для обучения инспекционных роботов, а компания Ultralytics из области компьютерного зрения улучшила свою модель YOLO для обнаружения дефектов с помощью целенаправленных синтетических дефектов.

Кроме инструментов для работы с данными, NVIDIA расширила возможности обучения и развертывания в Cosmos Framework. Разработчики теперь могут дообучать и оптимизировать ведущие открытые модели, такие как GR00T, Alpamayo, QWEN и Pi0.5, используя методы обучения с подкреплением, дистилляции и квантизации. Например, лаборатория MicroAGI адаптировала Cosmos 3 для специализации на эгоцентричных задачах манипуляции, значительно уменьшив размер модели без потери точности.

Платформа также содержит усовершенствования симуляций с вариантами модели Cosmos 3 Nano, позволяющими разработчикам тестировать автономные политики в сложных мультивидовых мультисенсорных симуляциях перед реальным развертыванием. Микросервисы NVIDIA Cosmos 3 NIM обеспечивают до 2х более быстрое инференс с сохранением качества и поддерживают непрерывный видеоанализ с субсекундными оповещениями. Опираясь на эти технологии, NVIDIA Metropolis Blueprint 3.3 предлагает эффективный поиск и суммирование видео, позволяя командам контролировать значительно больше видеопотоков на одном GPU.

Экосистема поддерживает открытый и модульный подход. Разработчики могут собирать тренировочные наборы данных с помощью Cosmos Data Factory, обучать и донастраивать модели через Cosmos Framework и развёртывать их через масштабируемые микросервисы. Этот интегрированный процесс облегчает эффективные циклы итерации и повышает уверенность при внедрении ИИ-систем, работающих безопасно и эффективно в физических средах.

Вместе с партнёрами, включая Microsoft Azure и Voxel51, NVIDIA подчеркивает свою приверженность инженерно ориентированному процессу разработки ИИ с фокусом на повторяемую проверку и контроль. Как демонстрирует модульная модель данных Porsche, такой совместный, но контролируемый OEM подход к управлению данными и моделями предназначен для ускорения разработки автономных транспортных средств и других направлений.

Продолжающиеся инвестиции NVIDIA в платформу Cosmos отражают растущее значение физического ИИ в реальных приложениях, упрощая разработчикам создание сложных моделей ИИ, которые воспринимают и действуют в физическом мире с повышенной надежностью и эффективностью.