llm-d 1.0 Julkaistu Parantamaan Avoimen, Kustannustehokkaan AI-päätelmän Käyttöä Tuotantomittakaavassa

Kuva: IBM · Lähde

Avoimen lähdekoodin llm-d 1.0 -alusta tarjoaa vahvoja hajautettuja päätelmäominaisuuksia, suunniteltu päivittäiseen tuotantokäyttöön parantaen AI-työkuormien tehokkuutta ja skaalautuvuutta monenlaisissa infrastruktuureissa.

20. lokakuuta 2026 llm-d avoimen lähdekoodin projektin kehittäjät ilmoittivat llm-d 1.0 -version julkaisusta, joka merkitsee merkittävää edistystä suurten kielimallien (LLM) päätelmässä yritysten tuotantoympäristöissä. Projekti perustettiin alun perin vuonna 2025 Red Hatin, IBM:n, Google Cloudin, CoreWeaven ja NVIDIA:n toimesta ja sitä hallinnoi nyt Cloud Native Computing Foundation (CNCF). Sen tarkoituksena on tarjota avoin, skaalautuva perusta organisaatioille, jotka ottavat AI-työkuormat käyttöön tehokkaasti heterogeenisessa infrastruktuurissa.

AI:n käyttöönoton nopeutuessa monet yritykset kohtaavat haasteita AI-mallien mittakaava-ajossa – viive-, läpäisy-, resurssien käyttö- ja kustannuskysymykset hallitsevat käyttöönottoa. llm-d 1.0 vastaa näihin operatiivisiin haasteisiin tarjoamalla älykkäitä hajautettuja päätelmäominaisuuksia, kuten monivuokralaisten laatutasoa prioriteettitietoisen virranohjauksen avulla, nollakatkoja mahdollistavat jatkuvat päivitykset ja korkean käytettävyyden sekä agenttitietoisen palvelun, joka optimoi monivuorovaikutteiset keskustelu-AI-työkuormat sessiomyönteisellä reitityksellä ja vastausvälimuistilla.

Arkkitehtuuri tukee monimutkaisia yritysvaatimuksia, mukaan lukien jaksotetut agenttipohjaiset AI-työkuormat, hajautetun palvelun ja laitteistojen heterogeenisuuden GPU:iden ja kiihdyttimien välillä. Se integroituu nykyisten mallipalvelimien, kuten vLLM:n ja SGLangin, kanssa ja tarjoaa ominaisuuksia kuten etuliitteen välimuistin osumatarkkuuden optimoinnin, kuormitietoiset reititykset sekä erä- ja asynkroniset päätelmät. Versio 1.0 sisältää myös vakaamman v1-konfiguraatio-API:n ja kovetetun pyyntöpolun, joka on testattu useilla pilvialustoilla ja laitteistoilla.

Useat alan toimijat ovat vahvistaneet llm-d:n käytännön hyödyt. Esimerkiksi IBM Research demonstroi kvanttivirheenkorjauslaitteiston simulaatioita 11,5 kertaa alhaisemmilla päätelmäkustannuksilla verrattuna suljettuihin ratkaisuihin, saavuttaen 98 % etuliitteen välimuistin osumatason ja noin 0,11 dollaria miljonaa palveltua tokenia kohden. Toinen demonstraatio otti käyttöön 753 miljardin parametrin GLM 5.2 – sekoitusasiantuntijamallin NVIDIA GPU:illa käyttäen llm-d:tä, joka tehokkaasti palveli tuhansia samanaikaisia agenttipohjaisia AI-koodausistuntoja yli 6,6 miljoonalla ulostulotokenilla minuutissa huipputeholla. Tämä käyttöönotto vähensi merkittävästi päätelmän kustannuksia – 5–10 kertaa vähemmän tokenia kohden verrattuna vastaaviin kaupallisiin API:hin, erityisesti syötteen kuormittamissa agenttipohjaisissa työkuormissa.

Perustajayritysten johtajat korostivat llm-d 1.0:n roolia siirryttäessä AI:sta kokeilusta tuotantoon, painottaen sen avointa lähdekoodia keskeisenä tekijänä laitteiston käytön optimoinnissa, operatiivisen luotettavuuden parantamisessa ja kustannusten alentamisessa. Google Cloud integroi llm-d 1.0:n Kubernetes Engineensä skaalautuvaa monivuokralaista AI-työkuormaa varten, kun taas CoreWeave, NVIDIA, AMD, Cohere, DigitalOcean, JetBrains, Mistral ja Roblox ovat aktiivisia osallistujia ja käyttäjiä, soveltaen llm-d:tä monipuolisissa käytännön tilanteissa.

Tulevaisuudessa llm-d-yhteisö aikoo jatkaa ohjelmistopinon kehittämistä uusien laitteistojen ja mallirakenteiden tukemiseksi, ylläpitäen korkean suorituskyvyn ja operatiivisen kypsyyden pilviympäristöissä. Tämä avoimen lähdekoodin yhteistyö pyrkii muodostamaan perustavan teknologian, joka mahdollistaa yritysten tehokkaan monimutkaisten AI-sovellusten ajamisen mittakaavassa täyden infrastruktuuritalouden ja reaktiivisuuden hallinnan kanssa.