llm-d 1.0 Veröffentlicht, um Offene und Kostengünstige KI-Inferenz in Produktionsmaßstab zu Verbessern

Image: IBM · Source

Die Open-Source-Plattform llm-d 1.0 bietet robuste verteilte Inferenzfunktionen, die für produktive Umgebungen nach dem ersten Deployment entwickelt wurden und die Effizienz sowie Skalierbarkeit von KI-Arbeitslasten über verschiedene Infrastrukturen verbessern.

Am 20. Oktober 2026 gaben die Mitwirkenden des Open-Source-Projekts llm-d die Veröffentlichung von llm-d 1.0 bekannt, was einen bedeutenden Fortschritt in der Inferenz großer Sprachmodelle (LLM) für unternehmerische Produktionsumgebungen markiert. Das Projekt wurde ursprünglich 2025 von Red Hat, IBM, Google Cloud, CoreWeave und NVIDIA gegründet und wird nun von der Cloud Native Computing Foundation (CNCF) verwaltet. Ziel ist es, eine offene, skalierbare Grundlage zu bieten, damit Organisationen KI-Arbeitslasten effizient über heterogene Infrastrukturen bereitstellen können.

Mit der Beschleunigung der KI-Einführung stehen viele Unternehmen vor Herausforderungen beim Betrieb von KI-Modellen in großem Maßstab – Probleme hinsichtlich Latenz, Durchsatz, Ressourcennutzung und Kosten dominieren die Bereitstellungsphase. llm-d 1.0 behebt diese operativen Hürden durch intelligente verteilte Inferenzfunktionen wie mandantenfähige Qualitätskontrolle mit prioritätsbewusstem Flussmanagement, unterbrechungsfreie Operationen mit rollierenden Updates und hoher Verfügbarkeit sowie agentenbewusstes Serving, das mehrstufige konversationelle KI-Arbeitslasten mittels sitzungsbewusstem Routing und Antwort-Caching optimiert.

Die Architektur unterstützt komplexe unternehmerische Anforderungen, einschließlich sprunghafter agentischer KI-Workflows, disaggregiertem Serving und Hardware-Heterogenität zwischen GPUs und Beschleunigern. Sie integriert sich mit bestehenden Modellservern wie vLLM und SGLang und bietet Funktionen wie Optimierung von Prefix-Cache-Treffern, lastbewusstes Routing und Batch-/asynchrone Inferenz. Version 1.0 führt auch eine stabile v1-Konfigurations-API und eine gehärtete Request-Pfad-Validierung über Cloud-Plattformen und Hardware hinweg ein.

Mehrere Industriepartner haben die praktischen Vorteile von llm-d validiert. So zeigte IBM Research Hardware-Simulationen zur Quantenfehlerkorrektur mit 11,5-fach geringeren Inferenzkosten im Vergleich zu proprietären Setups, erreichte eine Prefix-Cache-Trefferquote von 98 % und etwa 0,11 USD pro Million verarbeiteter Tokens. Eine weitere Demonstration setzte ein 753-Milliarden-Parameter GLM 5.2 Mixture-of-Experts-Modell auf NVIDIA GPUs mit llm-d ein und bediente effizient mehrere Tausend gleichzeitige agentische KI-Coding-Sessions mit über 6,6 Millionen ausgegebenen Tokens pro Minute bei Spitzen-Durchsatz. Dieser Einsatz senkte die Inferenzkosten signifikant – 5 bis 10 Mal günstiger pro Token als vergleichbare kommerzielle APIs – insbesondere bei eingabeintensiven agentischen Workloads.

Führungskräfte der Gründungsunternehmen unterstrichen die Rolle von llm-d 1.0 beim Übergang von KI von Experimenten zur Produktion und hoben das Open-Source-Modell als entscheidend für die Optimierung der Hardware-Ausnutzung, operative Zuverlässigkeit und Kostensenkung hervor. Google Cloud integriert llm-d 1.0 in seine Kubernetes Engine für skalierbare mandantenfähige KI-Arbeitslasten, während Unternehmen wie CoreWeave, NVIDIA, AMD, Cohere, DigitalOcean, JetBrains, Mistral und Roblox als aktive Mitwirkende und Nutzer llm-d in vielfältigen realen Szenarien einsetzen.

Für die Zukunft plant die llm-d-Community, den Softwarestack weiterzuentwickeln, um neue Hardware und Modellarchitekturen zu unterstützen, wobei hohe Leistung und operative Reife in Cloud-nativen Umgebungen beibehalten werden sollen. Diese Open-Source-Zusammenarbeit strebt an, eine grundlegende Technologie zu werden, die Unternehmen ermöglicht, komplexe KI-Anwendungen in großem Maßstab effizient zu betreiben und volle Kontrolle über Infrastrukturökonomie und Reaktionsfähigkeit zu behalten.