llm-d 1.0 Lansert for Å Forbedre Åpen og Kostnadseffektiv AI-Inferens i Produksjonsskala

Bilde: IBM · Kilde

Den åpne kildekoden plattformen llm-d 1.0 leverer robuste distribuerte inferensevner designet for produksjonsmiljøer etter implementering, som forbedrer effektivitet og skalerbarhet av AI-arbeidsbelastninger i ulike infrastrukturer.

Den 20. oktober 2026 kunngjorde bidragsytere til det åpne llm-d-prosjektet lanseringen av llm-d 1.0, som markerer et betydelig fremskritt for inferens av store språkmodeller (LLM) i bedriftsproduksjonsmiljøer. Prosjektet ble opprinnelig grunnlagt i 2025 av Red Hat, IBM, Google Cloud, CoreWeave og NVIDIA, og styres nå av Cloud Native Computing Foundation (CNCF). Målet er å tilby et åpent, skalerbart fundament for organisasjoner som distribuerer AI-arbeidsbelastninger effektivt på tvers av heterogen infrastruktur.

Etter hvert som AI-adopsjon akselererer, står mange virksomheter overfor utfordringer med å drifte AI-modeller i stor skala – problemer med latens, gjennomstrømning, ressursutnyttelse og kostnader dominerer distribusjonsfasen. llm-d 1.0 tar tak i disse operative utfordringene ved å levere intelligente distribuerte inferensefunksjoner som flerleietaker-kvalitet med prioritetsbevisst flytkontroll, null-nedetid drift som muliggjør løpende oppdateringer og høy tilgjengelighet, samt agentbevisst tjeneste som optimaliserer flerstegs samtale-AI-arbeidsbelastninger gjennom sesjonsbevisst ruting og responshåndtering.

Arkitekturen støtter komplekse bedriftsbehov inkludert burstaktige agentiske AI-arbeidsflyter, desaggregert betjening og maskinvareheterogenitet over GPUer og akseleratorer. Den integreres med eksisterende modellservere som vLLM og SGLang og tilbyr funksjoner som prefiks-cache-hittoptimalisering, belastningsbevisst ruting og batch-/asynkron inferens. Versjon 1.0 introduserer også et stabilt v1-konfigurasjons-API og en forsterket forespørselsvei validert på tvers av skyplattformer og maskinvare.

Flere aktører i bransjen har verifisert llm-ds praktiske fordeler. For eksempel demonstrerte IBM Research kvantefeilkorreksjon maskinvare-simuleringer med 11,5 ganger lavere inferenskostnader sammenlignet med proprietære oppsett, og oppnådde 98 % prefiks-cache treffrate og omtrent $0,11 per million tokens servert. En annen demonstrasjon distribuerte en 753-milliarder-parameter GLM 5.2 mixture-of-experts-modell på NVIDIA GPUer med llm-d, og serverte effektivt tusenvis av samtidige agentiske AI-kodingssesjoner med over 6,6 millioner output-tokens per minutt ved topp gjennomstrømning. Denne distribusjonen reduserte inferenskostnadene betydelig – 5 til 10 ganger lavere per token enn sammenlignbare kommersielle API-er – spesielt for inputintensive agentiske arbeidsbelastninger.

Ledere fra de grunnleggende selskapene understreket llm-d 1.0s rolle i overgangen av AI fra eksperimentering til produksjon, og fremhevet dens åpne kildekode-modell som avgjørende for å optimalisere maskinvarebruk, driftspålitelighet og redusere kostnader. Google Cloud integrerer llm-d 1.0 i sin Kubernetes Engine for skalerbare flerleietaker-AI-arbeidsbelastninger, mens selskaper som CoreWeave, NVIDIA, AMD, Cohere, DigitalOcean, JetBrains, Mistral og Roblox er aktive bidragsytere og brukere som anvender llm-d i ulike virkelige scenarioer.

Fremover planlegger llm-d-fellesskapet å fortsette å utvikle programvarestakken for å støtte fremvoksende maskinvare- og modellarkitekturer med opprettholdt høy ytelse og operasjonell modenhet i sky-naturlige miljøer. Dette åpne samarbeidet har som mål å bli en grunnleggende teknologi som muliggjør for bedrifter å effektivt kjøre komplekse AI-applikasjoner i stor skala med full kontroll over infrastrukturøkonomi og responsivitet.