NVIDIA izstrādā Dynamo izvietošanas receptes vadošajiem Korejas izstrādātajiem atvērtā koda AI modeļiem

Attēls: NVIDIA · Avots

NVIDIA prezentē Dynamo optimizētas receptes, lai efektīvi izvietotu vadošos Korejas atvērtā koda AI modeļus vairākos GPU, uzlabojot veiktspēju un paātrinot ražošanas lietošanu.

NVIDIA ir ieviesusi izvietošanas receptes, kas optimizētas tās Dynamo ietvaram un atbalsta vairākus ievērojamus Dienvidkorejā izstrādātus atvērtā koda AI modeļus. Tie ietver SK Telecom izstrādāto A.X K2, LG AI Research K-EXAONE 2.0, Upstage Solar Open 2 un Motif Technologies Motif-3. Tā kā AI modeļi kļūst arvien sarežģītāki un apjomīgāki nekā atļauj vienas GPU jauda, tiem nepieciešama sadalīšana vairāku GPU starpā ar rūpīgu pieprasījumu maršrutēšanas un starp-GPU komunikācijas pārvaldību augstas veiktspējas nodrošināšanai.

NVIDIA Dynamo ir atvērtā koda izplatītas inferencēšanas servisa ietvars, kas paredzēts, lai efektīvi izvietotu šādus lielos modeļus daudzmezglu datu centru vidēs. Tas koordinē inferenču pieprasījumu sadalīšanu un maršrutēšanu GPU starpā, lai maksimizētu caurlaidspēju un samazinātu latentumu. Jaunizlaistās izvietošanas receptes ir pielāgotas NVIDIA B200 GPU un nodrošina izstrādātājiem gatavu ceļvedi, lai izvairītos no mēģinājumu un kļūdu konfigurācijām, uzreiz pēc izvietošanas nodrošinot līdz pat divkāršu veiktspēju.

Šī iniciatīva ir vērsta uz to, lai atvieglotu Korejas izstrādātāju un organizāciju ceļu saviem atvērtā koda AI modeļiem ātrāk pāriet ražošanas vidē un ar lielāku uzticamību. Izmantojot šīs iepriekš optimizētās receptes, uz šo modeļu bāzes balstītie AI pakalpojumi var kļūt pieejamāki plašākai auditorijai, saskanīgi ar NVIDIA redzējumu par AI demokrātizēšanu, izmantojot efektīvus, mērogojamus izvietošanas risinājumus.

Izstrādātājiem, kas strādā ar lieliem AI modeļiem, NVIDIA Dynamo receptes ir vērtīgs resurss, lai pārvaldītu vairāku GPU inferenču maršrutēšanas sarežģītību, vienlaikus maksimāli izmantojot aparatūru. Šis izlaidums uzsver NVIDIA un Korejas AI pētniecības iestāžu pieaugošo sadarbību, lai globāli virzītu AI spējas ar atvērtām ekosistēmām un optimizētu infrastruktūru.