Išleistas llm-d 1.0 – atviro, ekonomiško AI sąryšio gamybiniame mastelyje stiprinimas

Vaizdas: IBM · Šaltinis

Atviro kodo platforma llm-d 1.0 suteikia patikimas paskirstytos analizės galimybes, sukurtas antrinės gamybos aplinkoms, gerinančias AI užduočių efektyvumą ir mastelio didinimą įvairiose infrastruktūrose.

2026 m. spalio 20 d. llm-d atviro kodo projekto bendradarbiai paskelbė llm-d 1.0 versijos išleidimą, žyminčiu svarbų proveržį didelių kalbos modelių (LLM) sąryšio srityje įmonių gamybinėse aplinkose. Projektas buvo įkurtas 2025 m. Red Hat, IBM, Google Cloud, CoreWeave ir NVIDIA iniciatyva, o dabar yra valdomas Cloud Native Computing Foundation (CNCF). Jo tikslas – suteikti atvirą, lengvai plečiamą pagrindą organizacijoms, efektyviai diegiančioms AI užduotis įvairialypėje infrastruktūroje.

Sparčiai plintant AI technologijoms, daug įmonių susiduria su iššūkiais vykdant AI modelius mastu – diegimo metu dominavo vėlinimo, pralaidumo, resursų naudojimo ir sąnaudų klausimai. llm-d 1.0 sprendžia šias operacines problemas, teikdamas pažangias paskirstytos analizės funkcijas, tokias kaip kelių klientų kokybės užtikrinimas su prioritetinio srauto valdymu, darbų be pertrūkių operacijos leidžiančios atlikti nuolatinį atnaujinimą ir užtikrinančios didelį prieinamumą, bei agentų palaikomas aptarnavimas, optimizuojantis daugiapakopes pokalbių AI užduotis per sesiją atpažįstančią maršrutizaciją ir atsakymų kešavimą.

Architektūra palaiko sudėtingus verslo reikalavimus, įskaitant agentinius AI veiklos protrūkius, išskaidytą aptarnavimą ir aparatūros įvairovę tarp GPU ir akceleratorių. Ji integruojasi su esamais modelių serveriais, pavyzdžiui, vLLM ir SGLang, ir siūlo funkcijas kaip priešdėlio kešavimo optimizavimas, apkrovos atpažinimo maršrutizavimas ir batų/asinkroninė analizė. Versija 1.0 taip pat pristato stabilų v1 konfigūracijos API ir patikrintą užklausų kelią, validuotą įvairiose debesijos platformose ir aparatinėje įrangoje.

Keli pramonės dalyviai patvirtino llm-d praktinę naudą. Pavyzdžiui, IBM Research demonstravo kvantinio klaidų taisymo aparatūros simuliacijas su 11,5 karto mažesnėmis sąnaudomis nei uždari sprendimai, pasiekdami 98 % priešdėlio kešavimo sėkmės rodiklį ir maždaug 0,11 USD už milijoną aptarnaujamų žetonų. Kita demonstracija įdiegė 753 milijardų parametrų GLM 5.2 mišrios ekspertų modelį NVIDIA GPU, efektyviai aptarnaudama tūkstančius vienu metu veikiančių agentinių AI programavimo sesijų su daugiau nei 6,6 mln. išvesties žetonų per minutę piko pralaidumu. Šis diegimas ženkliai sumažino analizės sąnaudas – 5–10 kartų mažiau už žetoną nei lyginant su komercinėmis API, ypač įvesties intensyvioms agentinėms apkrovoms.

Įkūrėjų įmonių lyderiai pabrėžė llm-d 1.0 vaidmenį pereinant AI iš eksperimentų į gamybą, išryškindami atvirojo kodo modelį kaip esminį siekiant optimizuoti aparatūros naudojimą, operacinį patikimumą ir mažinti sąnaudas. Google Cloud integruoja llm-d 1.0 į savo Kubernetes variklį, leidžiantį mastelio didinimą keliems klientams skirtoms AI apkrovoms, tuo tarpu tokios įmonės kaip CoreWeave, NVIDIA, AMD, Cohere, DigitalOcean, JetBrains, Mistral ir Roblox aktyviai prisideda ir naudoja llm-d įvairiose realiose situacijose.

Žvelgiant į ateitį, llm-d bendruomenė planuoja toliau vystyti programinę įrangą, kad pritaikytų naują aparatinę įrangą ir modelių architektūras, išlaikydama aukštą našumą ir operacinį brandumą debesų įrenginių aplinkoje. Ši atvirojo kodo bendradarbiavimo iniciatyva siekia tapti pagrindine technologija, leidžiančia įmonėms efektyviai vykdyti sudėtingas AI programas dideliu mastu, turint visišką kontrolę infrastruktūros ekonomikos ir reagavimo srityse.