llm-d 1.0 Izlaists, Lai Uzlabotu Atvērtu un Izmaksu Efektīvu MĀI Inferenču Ražošanas Mērogā

Attēls: IBM · Avots

Atvērtā koda platforma llm-d 1.0 nodrošina izturīgas sadalītās inferenču spējas, kas paredzētas otrās dienas ražošanas vidēm, uzlabojot MĀI darba slodžu efektivitāti un mērogojamību dažādās infrastruktūrās.

2026. gada 20. oktobrī llm-d atvērtā koda projekta līdzstrādnieki paziņoja par llm-d 1.0 izlaidumu, kas iezīmē būtisku progresu lielo valodas modeļu (LLM) inferencē uzņēmumu ražošanas vidēs. Projekts tika sākts 2025. gadā, ko dibināja Red Hat, IBM, Google Cloud, CoreWeave un NVIDIA, un tagad to vada Cloud Native Computing Foundation (CNCF). Tā mērķis ir nodrošināt atvērtu un mērogojamu pamatu organizācijām, kas efektīvi izvieto MĀI darba slodzes heterogēnā infrastruktūrā.

Ar MĀI adoptācijas paātrināšanos daudzi uzņēmumi saskaras ar izaicinājumiem AI modeļu darbībā lielā mērogā – latentums, caurlaidspēja, resursu izmantošana un izmaksas dominē izvietošanas posmā. llm-d 1.0 risina šos operacionālos šķēršļus, nodrošinot inteliģentas sadalītas inferenču funkcijas, piemēram, daudzu īrnieku pakalpojumu kvalitāti ar prioritāšu apzinātu plūsmas kontroli, nulles dīkstāves darbības, kas ļauj veikt pakāpeniskus atjauninājumus un nodrošina augstu pieejamību, un aģentam apzinātu apkalpošanu, kas optimizē vairāku kūršu sarunu MĀI darba slodzes, izmantojot sesiju apzinātu maršrutēšanu un atbildes kešošanu.

Arhitektūra atbalsta uzņēmumu prasības, tostarp impulsīvas aģentu MĀI darba plūsmas, sadalītu apkalpošanu un aparatūras heterogenitāti GPU un paātrinātāju līmenī. Tā integrējas ar esošajiem modeļu serveriem, piemēram, vLLM un SGLang, un piedāvā tādas funkcijas kā prefiksa kešatmiņas trāpījumu optimizācija, slodzes apzināta maršrutēšana un partiju/asinkronu inferenci. Versija 1.0 ievieš arī stabilu v1 konfigurācijas API un stiprinātu pieprasījumu ceļu, kas ir verificēts dažādās mākoņu platformās un aparatūrā.

Daudzi nozares dalībnieki ir apstiprinājuši llm-d praktiskās priekšrocības. Piemēram, IBM Research demonstrēja kvantu kļūdu koriģēšanas aparatūras simulācijas ar 11,5 reizes zemākām inferenču izmaksām, salīdzinot ar patentētām sistēmām, sasniedzot 98% prefiksa kešatmiņas trāpījumu līmeni un aptuveni 0,11 USD par miljonu apkalpoto tokenu. Vēl viens paraugs bija 753 miljardu parametru GLM 5.2 ekspertu maisījuma modelis, kas izvietots NVIDIA GPU, izmantojot llm-d, efektīvi apkalpojot tūkstošiem vienlaicīgu aģentu MĀI kodēšanas sesiju ar vairāk nekā 6,6 miljoniem izejošu tokenu minūtē pie maksimālās caurlaidspējas. Šī izvietošana būtiski samazināja inferenču izmaksas – 5 līdz 10 reizes mazāk par tokenu nekā salīdzināmas komerciālas API –, it īpaši ieejas intensīvām aģentu darba slodzēm.

Dibinātāju uzņēmumu līderi izcēla llm-d 1.0 lomu pārejā no AI eksperimentiem uz ražošanu, uzsverot tās atvērtā koda modeļa nozīmi aparatūras izmantošanas optimizācijā, darbības uzticamībā un izmaksu samazināšanā. Google Cloud integrē llm-d 1.0 savā Kubernetes Engine, lai nodrošinātu mērogojamas daudzu īrnieku MĀI darba slodzes, bet tādi uzņēmumi kā CoreWeave, NVIDIA, AMD, Cohere, DigitalOcean, JetBrains, Mistral un Roblox ir aktīvi līdzstrādnieki un lietotāji, pielietojot llm-d dažādos reālas pasaules scenārijos.

Turpmāk llm-d kopiena plāno turpināt attīstīt programmatūras kaudzi, lai pielāgotos jaunajai aparatūrai un modeļu arhitektūrām, uzturot augstu veiktspēju un operacionālo nobriedumu mākoņu nativās vidēs. Šī atvērtā koda sadarbība cenšas kļūt par pamattehnoloģiju, kas ļauj uzņēmumiem efektīvi darbināt sarežģītas MĀI lietojumprogrammas mērogā, saglabājot pilnīgu kontroli pār infrastruktūras ekonomiku un reaģētspēju.