Выпуск llm-d 1.0 для улучшения открытого и экономичного AI-инференса в производственных масштабах

Image: IBM · Source

Платформа open-source llm-d 1.0 предлагает надёжные возможности распределённого инференса, разработанные для производственных окружений второго дня, улучшая эффективность и масштабируемость AI-нагрузок в различных инфраструктурах.

20 октября 2026 года участники проекта с открытым исходным кодом llm-d объявили выпуск версии llm-d 1.0, что стало значительным этапом в области инференса больших языковых моделей (LLM) для производственных сред предприятий. Проект был основан в 2025 году компаниями Red Hat, IBM, Google Cloud, CoreWeave и NVIDIA и в настоящее время управляется Cloud Native Computing Foundation (CNCF). Его задача – обеспечить открытую, масштабируемую платформу для организаций, которые эффективно внедряют AI-нагрузки на гетерогенной инфраструктуре.

По мере ускорения внедрения AI многие предприятия сталкиваются с проблемами эксплуатации моделей AI в масштабах – вопросы задержек, пропускной способности, использования ресурсов и стоимости доминируют на этапе развертывания. llm-d 1.0 решает эти операционные сложности, предоставляя интеллектуальные функции распределённого инференса, такие как мульти-тенантное качество обслуживания с управлением потоком на основе приоритетов, операции без простоев, позволяющие выполнять постепенные обновления и обеспечивать высокую доступность, а также агент-ориентированное обслуживание, оптимизирующее многократные диалоговые нагрузки AI с помощью маршрутизации с учётом сессий и кеширования ответов.

Архитектура поддерживает сложные требования предприятий, включая всплески агентских AI-рабочих процессов, дезагрегированное сервисирование и гетерогенность оборудования среди GPU и акселераторов. Интегрируется с существующими серверами моделей, такими как vLLM и SGLang, и предлагает функции, включая оптимизацию попаданий в кэш префиксов, маршрутизацию с учётом нагрузки и пакетный/асинхронный инференс. Версия 1.0 также вводит стабильный API конфигурации v1 и укреплённый путь обработки запросов, проверенный на облачных платформах и оборудовании.

Множество участников индустрии подтвердили практические преимущества llm-d. Например, IBM Research продемонстрировал симуляции оборудования для квантовой коррекции ошибок с инференс-затратами в 11,5 раза ниже по сравнению с проприетарными решениями, достигнув 98% попаданий в кэш префиксов и примерно $0,11 за миллион обслуженных токенов. Другая демонстрация развернула модель GLM 5.2 с смесью экспертов и 753 миллиардами параметров на GPU NVIDIA с использованием llm-d, эффективно обслуживая тысячи одновременных агентских AI-сессий кодирования с более чем 6,6 миллионами выходных токенов в минуту на пиковом уровне пропускной способности. Этот запуск значительно снизил стоимость инференса — в 5–10 раз ниже за токен по сравнению с сопоставимыми коммерческими API — особенно для насыщенных входными данными агентских нагрузок.

Руководители компаний-основателей подчеркнули роль llm-d 1.0 в переходе AI от экспериментов к производству, отметив его open-source-модель как ключевую для оптимизации использования оборудования, надежности эксплуатации и снижения затрат. Google Cloud интегрирует llm-d 1.0 в Kubernetes Engine для масштабируемых мульти-тенантных AI-нагрузок, а компании CoreWeave, NVIDIA, AMD, Cohere, DigitalOcean, JetBrains, Mistral и Roblox активно вносят вклад и используют llm-d в разнообразных реальных сценариях.

В перспективе сообщество llm-d планирует продолжать развитие стека программного обеспечения, чтобы поддерживать новые аппаратные платформы и архитектуры моделей, сохраняя высокую производительность и зрелость эксплуатации в облачно-нативных окружениях. Это сотрудничество с открытым исходным кодом ставит целью стать фундаментальной технологией, позволяющей предприятиям эффективно запускать сложные AI-приложения в масштабе с полным контролем над экономикой инфраструктуры и отзывчивостью.