llm-d 1.0 Väljaandmine, Et Parandada Avatud ja Kulutõhusat Tehisintellekti Tõlgendust Tootmismastaabis

Pilt: IBM · Allikas

Avatud lähtekoodiga platvorm llm-d 1.0 pakub tugevaid hajutatud tõlgendamise võimalusi, mis on mõeldud teise päeva tootmiskeskkondadele, parandades tehisintellekti töökoormuste efektiivsust ja skaleeritavust erinevates infrastruktuurides.

20. oktoobril 2026 teatati llm-d avatud lähtekoodiga projekti toetajate poolt llm-d 1.0 väljaandest, mis tähistab olulist edusammu suurte keelemudelite (LLM) tõlgendamisel ettevõtte tootmiskeskkondades. Projekti asutasid algselt 2025. aastal Red Hat, IBM, Google Cloud, CoreWeave ja NVIDIA ning nüüd juhib seda Cloud Native Computing Foundation (CNCF). Projekti eesmärk on pakkuda avatud ja skaleeritavat platvormi organisatsioonidele, kes soovivad tõhusalt kasutada tehisintellekti töökoormusi heterogeenses infrastruktuuris.

Tehisintellekti leviku kiirenedes seisavad paljud ettevõtted silmitsi väljakutsetega AI mudelite käitamisel suures mahus – probleemid nagu latentsus, läbilaskevõime, ressursside kasutamine ja kulud domineerivad juurutamisfaasis. llm-d 1.0 lahendab neid operatiivseid takistusi, pakkudes nutikaid hajutatud tõlgendamise funktsioone, näiteks mitme üürniku teenuse kvaliteeti prioriteediteadliku voolu juhtimisega, katkestusteta operatsioone, mis võimaldavad järkjärgulisi uuendusi ja kõrget kättesaadavust, ning agent-teadlikku teenindust, mis optimeerib mitme vooruga vestlusliku AI töökoormusi seansi teadliku marsruutimise ja vastuse vahemällu salvestamisega.

Arhitektuur toetab keerukaid ettevõtte nõudeid, sealhulgas hüplikke agentidel põhinevaid AI töövooge, disaggregatsiooni teenindamisel ja riistvara heterogeensust GPU-de ja kiirendajate lõikes. See integreerub olemasolevate mudeliserveritega nagu vLLM ja SGLang ning pakub funktsioone nagu prefix-cache tabamise optimeerimine, koormusteadlik marsruutimine ja hulk/asünkroonne tõlgendamine. Versioon 1.0 sisaldab ka stabiilset v1 konfiguratsiooni API-d ning tugevdatud päringuteed, mis on valideeritud pilveplatvormide ja riistvara peal.

Mitu tööstusharu osalist on kinnitanud llm-d praktilisi eeliseid. Näiteks IBM Research demonstreeris kvantvigade paranduse riistvara simulatsioone 11,5 korda madalamate tõlgenduskuludega võrreldes omandiõigusega lahendustega, saavutades 98% prefix-cache tabamise ja ligikaudu 0,11 dollarit miljoni teenindatud tokini kohta. Teises näites käideti 753 miljardi parameetriga GLM 5.2 eksperthulga mudelit NVIDIA GPU-del kasutades llm-d, teenindades tõhusalt tuhandeid samaaegseid agentidel põhinevaid AI programmeerimisistungeid üle 6,6 miljoni väljundtokini minutis tipptasemel. See paigutus vähendas märkimisväärselt tõlgenduskulusid – 5 kuni 10 korda vähem tokeni kohta kui vastavates kaupmeeste API-des –, eriti sisendikoormusega agentidel põhinevate tööde puhul.

Asutajafirmade juhid rõhutasid llm-d 1.0 rolli AI üleminekul katsetusest tootmisse, rõhutades selle avatud lähtekoodiga mudeli tähtsust riistvara kasutuse optimeerimisel, töökindluse parandamisel ja kulude vähendamisel. Google Cloud on llm-d 1.0 integreerinud oma Kubernetes Engine'i skaleeritavate mitme üürniku AI töökoormuste jaoks, samal ajal kui sellised ettevõtted nagu CoreWeave, NVIDIA, AMD, Cohere, DigitalOcean, JetBrains, Mistral ja Roblox on aktiivsed kaastöötajad ja kasutajad, rakendades llm-d erinevates reaalses maailmas olukordades.

Edaspidi plaanib llm-d kogukond jätkata tarkvarapinu arendamist, et toetada uusi riistvara- ja mudeliarhitektuure, säilitades kõrge jõudluse ja operatiivse küpsuse pilvepõhistes keskkondades. See avatud lähtekoodi koostöö soovib saada aluseks tehnoloogiaks, mis võimaldab ettevõtetel tõhusalt käitada keerukaid AI rakendusi mastaapselt, hoides kogu infrastruktuuri majanduslikku kontrolli ja reageerimisvõimet.