NVIDIA предоставляет разработчикам возможности для создания сложных симуляций с помощью передовых AI-агентов Frontier и библиотек Omniverse

Image: Illustrative image · Amusements.global · CC BY-SA 4.0 · Source

NVIDIA демонстрирует, как разработчики объединяют передовые AI-модели, такие как GPT-6 Astra, с библиотеками Omniverse для создания сложных симуляций, облегчая работу с робототехникой, автономными транспортными средствами, цифровыми двойниками и другими областями с использованием управления AI на естественном языке.

NVIDIA выделяет инновационные способы использования передовых AI-моделей, интегрированных с её библиотеками Omniverse, для трансформации разработки симуляций. Разработчики управляют AI-агентами, такими как GPT-6 Astra, при помощи команд на естественном языке, чтобы собирать ресурсы, связывать физические движки, модули визуализации и симуляции сенсоров, что приводит к созданию полноценных приложений для симуляций. Такой подход упрощает создание сред для тестирования робототехники, автономного вождения, валидации цифровых двойников и космического моделирования.

Ключевые демонстрационные проекты показывают масштаб этой технологии. Для подготовки к автоматизации склада была создана симуляция гуманоидного робота с видами от первого и третьего лица, сгенерированная с помощью Astra для управления физикой (с использованием ovphysx), визуализацией (ovrtx), управлением сценами (ovstage) и пользовательскими интерфейсами (ovui). Рабочие процессы симуляции автономных транспортных средств в таких средах, как Market Street в Сан-Франциско, были созданы для тестирования моделей сенсоров и вождения посредством пошаговой интеграции ресурсов и тестирования изменчивости среды.

Для улучшения цифровых двойников AI-агенты сравнивали симулированные данные сенсоров с записанными реальными данными с камер и лидаров, итеративно совершенствуя точность сцен путем изменения ресурсов OpenUSD и проверки результатов по ключевым показателям эффективности. Исследования в области робототехники использовали симуляции для тестирования сложных движений и задач разборки, объединяя CAD-модели, физические движки и инструменты, сгенерированные AI.

Заметным примером является сборка модели OpenUSD Международной космической станции, интегрированной с живой телеметрией, визуализируемой и транслируемой через браузерные приложения, полностью созданные по AI-командам. Аналогично, стереокамеры были преобразованы в редактируемые студии OpenUSD для тестирования взаимодействий, позволяя детальный анализ физического поведения.

Основой этой экосистемы является ovstage — высокопроизводительная библиотека на C и Python, предоставляющая общую среду обработки данных сцены с аппаратным ускорением GPU, совместимую с библиотеками Omniverse. ovstage обеспечивает эффективное управление и совместное использование данных сцен USD между различными компонентами симуляций без избыточного парсинга и нагрузки на память.

Подход NVIDIA предлагает мощный рабочий процесс, где разработчики направляют AI-агентов на создание, улучшение и проверку комплексных приложений симуляций с использованием передовых возможностей физики, визуализации и симуляции сенсоров в бесшовной интеграции. Слияние передовых AI-моделей кодирования с библиотеками Omniverse знаменует собой значительный прогресс в эффективности и сложности симуляций, поддерживая исследования и разработки в сфере робототехники, автономных транспортных средств, цифровых двойников и других областей.