llm-d 1.0 Lanserad för att Förbättra Öppen och Kostnadseffektiv AI-Inferens i Produktionsskala

Bild: IBM · Källa

Den öppna plattformen llm-d 1.0 levererar robusta distribuerade inferensfunktioner utformade för produktionsmiljöer efter implementering, vilket förbättrar effektiviteten och skalbarheten för AI-arbetsflöden över skiftande infrastrukturer.

Den 20 oktober 2026 tillkännagav bidragsgivare till det öppna llm-d-projektet lanseringen av llm-d 1.0, vilket markerar ett betydande framsteg i inferens för stora språkmodeller (LLM) i företagsproduktionsmiljöer. Projektet grundades ursprungligen 2025 av Red Hat, IBM, Google Cloud, CoreWeave och NVIDIA och styrs nu av Cloud Native Computing Foundation (CNCF). Syftet är att tillhandahålla en öppen, skalbar grund för organisationer som effektivt implementerar AI-arbetsflöden över heterogen infrastruktur.

När AI-användningen accelererar möter många företag utmaningar med att driva AI-modeller i stor skala – problem kring latens, genomströmning, resursutnyttjande och kostnader dominerar driftsfasen. llm-d 1.0 adresserar dessa operativa hinder genom att erbjuda intelligenta distribuerade inferensfunktioner såsom fleranvändar-kvalitetssäkring med prioriteringsmedveten flödeskontroll, driftsättning utan stillestånd som möjliggör rullande uppdateringar och hög tillgänglighet samt agentmedveten tjänstgöring som optimerar flerstegs-samtals-AI-arbetslaster via sessionsmedveten routning och svarscaching.

Arkitekturen stöder komplexa företagsbehov inklusive burstiga agentbaserade AI-arbetsflöden, disaggregated serving och hårdvaruheterogenitet över GPU:er och acceleratorer. Den integreras med befintliga modellservrar som vLLM och SGLang och erbjuder funktioner såsom prefix-cacheträffoptimering, belastningsmedveten routning och batch-/asynkron inferens. Version 1.0 introducerar även ett stabilt v1-konfigurations-API och en förstärkt förfrågningsväg som validerats över molnplattformar och hårdvara.

Flera branschaktörer har verifierat llm-d:s praktiska fördelar. Exempelvis har IBM Research demonstrerat kvantfelkorrigering simulerad på hårdvara med 11,5 gånger lägre inferenskostnader jämfört med proprietära system, med en prefix-cacheträfffrekvens på 98 % och cirka 0,11 USD per miljon tokens serverade. En annan demonstration använde en 753-miljarder parameter GLM 5.2 mixture-of-experts-modell på NVIDIA GPU:er via llm-d och serverade effektivt tusentals samtidiga agentbaserade AI-kodningssessioner med över 6,6 miljoner output-tokens per minut vid toppgenomströmning. Denna implementering minskade inferenskostnaden avsevärt – 5 till 10 gånger lägre per token än jämförbara kommersiella API:er – särskilt för inputintensiva agentarbeten.

Ledare från grundande företag betonade llm-d 1.0:s roll i övergången av AI från experiment till produktion och framhöll dess öppna modell som avgörande för att optimera hårdvaruanvändning, driftssäkerhet och sänka kostnader. Google Cloud integrerar llm-d 1.0 i sin Kubernetes Engine för skalbara fleranvändar-AI-arbetsflöden medan företag som CoreWeave, NVIDIA, AMD, Cohere, DigitalOcean, JetBrains, Mistral och Roblox är aktiva bidragsgivare och användare och applicerar llm-d i olika verkliga scenarier.

Framöver planerar llm-d-gemenskapen att fortsätta utveckla mjukvarustacken för att kunna hantera framväxande hårdvaru- och modellarkitekturer med bibehållen hög prestanda och operativ mognad i molnnativa miljöer. Detta öppna samarbete syftar till att bli en grundläggande teknologi som möjliggör för företag att effektivt köra komplexa AI-applikationer i skala med full kontroll över infrastrukturkostnader och responsivitet.