NVIDIA lanserer Dynamo-distribusjonsoppskrifter for ledende koreanske åpne AI-modeller

Bilde: NVIDIA · Kilde

NVIDIA presenterer Dynamo-optimaliserte oppskrifter for effektiv distribusjon av topp koreanske åpne AI-modeller over flere GPU-er, som forbedrer ytelsen og akselererer produksjonsbruk.

NVIDIA har introdusert distribusjonsoppskrifter optimalisert for deres Dynamo-rammeverk som støtter flere fremtredende åpne AI-modeller utviklet i Sør-Korea. Disse inkluderer A.X K2 fra SK Telecom, K-EXAONE 2.0 fra LG AI Research, Solar Open 2 fra Upstage og Motif-3 fra Motif Technologies. Ettersom AI-modeller øker i kompleksitet og størrelse utover kapasiteten til en enkelt GPU, krever de distribusjon over flere GPU-er med nøye styring av forespørselsruting og kommunikasjon mellom GPU-er for å opprettholde høy ytelse.

NVIDIA Dynamo er et open source distribuert inferenstjenesteframework designet for å distribuere slike store modeller effektivt i multi-node datasentermiljøer. Det koordinerer splitting og ruting av inferensforespørsler over GPU-er for å maksimere gjennomstrømning og minimere ventetid. De nylig utgitte distribusjonsoppskriftene er tilpasset NVIDIA B200 GPU-er og gir utviklere ferdige retningslinjer for å unngå prøve- og feilkoblinger, noe som gir opptil dobbel ytelse umiddelbart etter distribusjon.

Dette initiativet har som mål å lette veien for utviklere og organisasjoner i Korea til å raskere og mer pålitelig ta sine åpne AI-modeller i produksjonsmiljøer. Ved å benytte disse forhåndsoptimaliserte oppskriftene kan AI-tjenester bygget på disse modellene bli mer tilgjengelige for et bredere publikum, i tråd med NVIDIAs visjon om å demokratisere AI gjennom effektive, skalerbare distribusjonsløsninger.

For utviklere som arbeider med storskala AI-modeller, representerer NVIDIAs Dynamo-oppskrifter en verdifull ressurs for å håndtere kompleksiteten ved inferensruting over flere GPU-er samtidig som maskinvareutnyttelsen maksimeres. Denne utgivelsen understreker det økende samarbeidet mellom NVIDIA og koreanske AI-forskningsinstitusjoner for å fremme AI-kapasiteter globalt gjennom åpne økosystemer og optimalisert infrastruktur.