Wydanie llm-d 1.0 mające na celu ulepszenie otwartego i opłacalnego wnioskowania AI na skalę produkcyjną

Image: IBM · Source

Platforma open-source llm-d 1.0 oferuje solidne możliwości rozproszonego wnioskowania, zaprojektowane dla środowisk produkcyjnych drugiego dnia, poprawiając efektywność i skalowalność zadań AI w różnych infrastrukturach.

20 października 2026 roku współtwórcy projektu open-source llm-d ogłosili wydanie wersji llm-d 1.0, co oznacza znaczący postęp w obszarze wnioskowania dużych modeli językowych (LLM) dla środowisk produkcyjnych przedsiębiorstw. Projekt został założony w 2025 roku przez Red Hat, IBM, Google Cloud, CoreWeave i NVIDIA, a obecnie jest zarządzany przez Cloud Native Computing Foundation (CNCF). Jego celem jest zapewnienie otwartej, skalowalnej podstawy dla organizacji wdrażających zadania AI efektywnie na heterogenicznej infrastrukturze.

W miarę jak adopcja AI przyspiesza, wiele przedsiębiorstw napotyka wyzwania w operacyjnym wykorzystaniu modeli AI na dużą skalę — problemy dotyczące opóźnień, przepustowości, wykorzystania zasobów i kosztów dominują fazę wdrożeniową. llm-d 1.0 odpowiada na te operacyjne trudności, oferując inteligentne funkcje rozproszonego wnioskowania, takie jak wielo-najemcza jakość usług z kontrolą przepływu uwzględniającą priorytety, operacje bez przestojów umożliwiające aktualizacje ciągłe i wysoką dostępność oraz serwowanie z agentową świadomością, które optymalizuje wieloetapowe konwersacyjne obciążenia AI poprzez trasowanie uwzględniające sesje i buforowanie odpowiedzi.

Architektura wspiera złożone wymagania przedsiębiorstw, obejmujące burstowe agentowe workflow AI, serwowanie rozproszone i heterogeniczność sprzętową wśród GPU i akceleratorów. Integruje się z istniejącymi serwerami modeli takimi jak vLLM i SGLang oraz oferuje funkcje takie jak optymalizacja trafień w pamięci podręcznej prefiksów, trasowanie z uwzględnieniem obciążenia oraz batch/asychroniczne wnioskowanie. Wersja 1.0 wprowadza także stabilne API konfiguracji v1 oraz wzmocnioną ścieżkę obsługi żądań zweryfikowaną na platformach chmurowych i sprzęcie.

Wielu uczestników branży zweryfikowało praktyczne zalety llm-d. Na przykład IBM Research wykazało symulacje sprzętu do korekcji błędów kwantowych z 11,5-krotnie niższymi kosztami wnioskowania w porównaniu do własnościowych rozwiązań, osiągając 98% trafień w pamięci podręcznej prefiksów i około 0,11 USD za milion tokenów obsłużonych. Inna demonstracja wdrożyła model GLM 5.2 o mieszance ekspertów z 753 miliardami parametrów na GPU NVIDIA z użyciem llm-d, efektywnie obsługując tysiące równoczesnych agentowych sesji kodowania AI z ponad 6,6 milionami tokenów wyjściowych na minutę przy szczytowej przepustowości. To wdrożenie znacząco obniżyło koszty wnioskowania — od 5 do 10 razy mniej za token niż porównywalne komercyjne API — zwłaszcza dla obciążeń agentowych intensywnych pod względem wejścia.

Liderzy firm założycielskich podkreślili rolę llm-d 1.0 w przejściu AI od eksperymentów do produkcji, wskazując na jego otwartość jako klucz do optymalizacji wykorzystania sprzętu, niezawodności operacyjnej i redukcji kosztów. Google Cloud integruje llm-d 1.0 z Kubernetes Engine dla skalowalnych wielo-najemczych obciążeń AI, podczas gdy firmy takie jak CoreWeave, NVIDIA, AMD, Cohere, DigitalOcean, JetBrains, Mistral i Roblox są aktywnymi współtwórcami i użytkownikami, stosując llm-d w różnorodnych rzeczywistych scenariuszach.

Patrząc w przyszłość, społeczność llm-d planuje kontynuować rozwój stosu oprogramowania, aby uwzględniać nowe architektury sprzętowe i modele, zachowując wysoką wydajność i dojrzałość operacyjną w środowiskach chmurowych. Ta open-source'owa współpraca ma stać się technologią fundamentalną, umożliwiającą przedsiębiorstwom efektywne uruchamianie złożonych aplikacji AI na skalę przy pełnej kontroli nad ekonomią infrastruktury i responsywnością.