NVIDIA выпускает рецепты развертывания Dynamo для ведущих корейских открытых моделей ИИ

Image: NVIDIA · Source

NVIDIA представляет оптимизированные под Dynamo рецепты для эффективного развертывания популярных корейских открытых моделей ИИ на нескольких GPU, улучшая производительность и ускоряя использование в производстве.

NVIDIA представила рецепты развертывания, оптимизированные для своей инфраструктуры Dynamo, которые поддерживают несколько известных открытых моделей ИИ, разработанных в Южной Корее. Среди них A.X K2 от SK Telecom, K-EXAONE 2.0 из LG AI Research, Solar Open 2 от Upstage и Motif-3 от Motif Technologies. По мере того как модели ИИ становятся сложнее и больше, превышая возможности одного GPU, их необходимо распределять между несколькими GPU с тщательным управлением маршрутизацией запросов и меж-GPU коммуникацией, чтобы сохранить высокую производительность.

NVIDIA Dynamo — это открытая распределённая инфраструктура для обслуживания инференса, созданная для эффективного развертывания таких крупных моделей в многоузловых дата-центрах. Она координирует разделение и маршрутизацию запросов инференса по GPU, максимизируя пропускную способность и минимизируя задержки. Новые рецепты развертывания адаптированы под NVIDIA B200 GPU и предоставляют разработчикам готовые рекомендации, позволяющие избежать проб и ошибок при настройках, обеспечивая до двукратного увеличения производительности сразу после развертывания.

Эта инициатива направлена на облегчение для разработчиков и организаций в Корее процесса быстрого и надёжного вывода их открытых моделей ИИ в продакшн. Используя эти заранее оптимизированные рецепты, AI-сервисы на их основе смогут стать более доступными для широкой аудитории, соответствуя видению NVIDIA — демократизации ИИ через эффективные и масштабируемые решения развертывания.

Для разработчиков, работающих с крупномасштабными моделями ИИ, рецепты NVIDIA Dynamo представляют ценное средство управления сложностями маршрутизации инференса на нескольких GPU при максимальном использовании оборудования. Этот релиз подчёркивает растущую кооперацию между NVIDIA и корейскими исследовательскими организациями ИИ в целях продвижения возможностей ИИ по всему миру через открытые экосистемы и оптимизированную инфраструктуру.