NVIDIA avaldas Dynamo juurutamise retseptid juhtivatele Korea avatud AI mudelitele

Pilt: NVIDIA · Allikas

NVIDIA tutvustab Dynamo-optimeeritud retsepte Korea juhtivate avatud AI mudelite tõhusaks mitme GPU-s kasutamiseks, parandades jõudlust ja kiirendades tootmiskeskkonda.

NVIDIA on tutvustanud oma Dynamo raamistiku jaoks optimeeritud juurutamise retsepte, mis toetavad mitmeid Lõuna-Koreas välja töötatud tuntud avatud AI mudeleid. Nendeks on SK Telecomi A.X K2, LG AI Researchi K-EXAONE 2.0, Upstage’i Solar Open 2 ning Motif Technologiesi Motif-3. Kuna AI mudelid muutuvad aina keerukamaks ja mahukamaks, mis ületab ühe GPU võimsuse, on vajalik nende jaotamine mitme GPU vahel ning hoolikas päringute marsruutimise ja GPUde vahelise suhtluse haldamine, et säilitada kõrge jõudlus.

NVIDIA Dynamo on avatud lähtekoodiga hajutatud inference-teenindamise raamistik, mis on loodud selliste suurte mudelite tõhusaks juurutamiseks mitme sõlme andmekeskustes. See koordineerib inference-päringute jagamist ja marsruutimist GPU-del, et maksimeerida läbilaskevõimet ja minimeerida latentsust. äsja avaldatud juurutamisretseptid on kohandatud NVIDIA B200 GPUdele ning pakuvad arendajatele valmis juhiseid, vältimaks katse-eksituse meetodil seadistamist, saades kohe kasutuselevõtul kuni kaks korda parema jõudluse.

See algatus on mõeldud hõlbustama Korea arendajate ja organisatsioonide teekonda, et nende avatud AI mudelid kiiremini ja usaldusväärsemalt tootmiskeskkonda viia. Kasutades neid eeloptimeeritud retsepte, saavad nende mudelitele tuginevad AI-teenused muutuda laiemale kasutajaskonnale kättesaadavamaks, mis on kooskõlas NVIDIA visiooniga demokratiseerida tehisintellekti efektiivsete ja skaleeritavate juurutuslahenduste kaudu.

Suurte AI mudelitega töötavatele arendajatele tähendavad NVIDIA Dynamo retseptid väärtuslikku ressursi mitme GPU inference marsruutimise keerukuse haldamiseks ning riistvara maksimaalseks kasutamiseks. See väljaanne rõhutab NVIDIA ja Korea AI uurimisasutuste kasvavat koostööd, et edendada AI võimekust ülemaailmselt läbi avatud ökosüsteemide ja optimeeritud infrastruktuuri.