llm-d 1.0 Lanzado para Mejorar la Inferencia de IA Abierta y Rentable a Escala de Producción

Image: IBM · Source

La plataforma de código abierto llm-d 1.0 ofrece capacidades robustas de inferencia distribuida diseñadas para entornos de producción en etapa avanzada, mejorando la eficiencia y escalabilidad de cargas de trabajo de IA en infraestructuras diversas.

El 20 de octubre de 2026, los colaboradores del proyecto de código abierto llm-d anunciaron el lanzamiento de llm-d 1.0, marcando un avance significativo en la inferencia de modelos grandes de lenguaje (LLM) para entornos empresariales de producción. El proyecto fue fundado originalmente en 2025 por Red Hat, IBM, Google Cloud, CoreWeave y NVIDIA y ahora está gobernado por la Cloud Native Computing Foundation (CNCF). Su propósito es proporcionar una base abierta y escalable para que las organizaciones desplieguen cargas de trabajo de IA de manera eficiente en infraestructuras heterogéneas.

A medida que la adopción de IA acelera, muchas empresas enfrentan desafíos para operar modelos de IA a escala: problemas relacionados con latencia, rendimiento, uso de recursos y costos dominan la fase de despliegue. llm-d 1.0 aborda estos obstáculos operativos ofreciendo funciones inteligentes de inferencia distribuida como calidad de servicio multiinquilino con control de flujo consciente de prioridades, operaciones sin tiempo de inactividad que permiten actualizaciones continuas y alta disponibilidad, y servicio consciente de agentes que optimiza cargas de trabajo de IA conversacional multi-turno mediante enrutamiento sensible a sesiones y almacenamiento en caché de respuestas.

La arquitectura soporta demandas empresariales complejas incluyendo flujos de trabajo agenticos de IA con explosiones de actividad, servicio desagregado y heterogeneidad de hardware entre GPUs y aceleradores. Se integra con servidores de modelos existentes como vLLM y SGLang y ofrece funciones como optimización de aciertos en caché de prefijos, enrutamiento consciente de carga e inferencia en lotes/asíncrona. La versión 1.0 también introduce una API estable de configuración v1 y una ruta de solicitud robustecida validada en plataformas cloud y hardware.

Múltiples participantes de la industria han validado los beneficios prácticos de llm-d. Por ejemplo, IBM Research demostró simulaciones de hardware para corrección de errores cuánticos con costos de inferencia 11.5 veces menores comparados con configuraciones propietarias, logrando una tasa de aciertos en caché de prefijos del 98% y aproximadamente $0.11 por millón de tokens servidos. Otra demostración desplegó un modelo GLM 5.2 mixture-of-experts de 753 mil millones de parámetros en GPUs NVIDIA usando llm-d, sirviendo eficientemente miles de sesiones concurrentes de IA agentica para codificación con más de 6.6 millones de tokens de salida por minuto en el pico máximo. Este despliegue redujo significativamente el costo de inferencia, de 5 a 10 veces menos por token frente a APIs comerciales comparables, especialmente para cargas intensivas en entrada de IA agentica.

Líderes de las compañías fundadoras destacaron el papel de llm-d 1.0 en la transición de la IA de la experimentación a la producción, enfatizando su modelo de código abierto como crucial para optimizar el uso de hardware, la fiabilidad operativa y la reducción de costos. Google Cloud integra llm-d 1.0 en su Kubernetes Engine para cargas de trabajo de IA multiinquilino escalables, mientras que compañías como CoreWeave, NVIDIA, AMD, Cohere, DigitalOcean, JetBrains, Mistral y Roblox son contribuyentes activos y usuarios, aplicando llm-d en diversos escenarios del mundo real.

De cara al futuro, la comunidad llm-d planea continuar evolucionando la pila de software para acomodar hardware emergente y arquitecturas de modelos, manteniendo alto rendimiento y madurez operativa en entornos cloud-native. Esta colaboración de código abierto apunta a convertirse en una tecnología fundamental que permita a las empresas ejecutar eficientemente aplicaciones complejas de IA a gran escala con control total sobre la economía y la capacidad de respuesta de la infraestructura.