NVIDIA Pateikia Dynamo Diegimo Receptus Pirmaujančioms Korėjos Atvirojo AI Modeliams

Vaizdas: NVIDIA · Šaltinis

NVIDIA pristato Dynamo optimizuotus receptus, leidžiančius efektyviai diegti geriausius Korėjos atvirojo AI modelius keliuose GPU, pagerinant našumą ir spartinant gamybos naudojimą.

NVIDIA pristatė diegimo receptus, optimizuotus savo Dynamo sistemai, palaikančius kelis žinomus Pietų Korėjoje sukurtus atvirojo AI modelius. Tai apima A.X K2 iš SK Telecom, K-EXAONE 2.0 iš LG AI Research, Solar Open 2 iš Upstage ir Motif-3 iš Motif Technologies. Kadangi AI modeliai tampa sudėtingesni ir didesni už vieno GPU talpą, jų diegimui reikalingas paskirstymas keliuose GPU su kruopščiu užklausų maršrutizavimu ir tarp-GPU komunikacija, siekiant išlaikyti aukštą našumą.

NVIDIA Dynamo yra atviro kodo paskirstyto išvedimo aptarnavimo sistema, skirta efektyviai diegti tokius didelius modelius kelių mazgų duomenų centruose. Ji koordinuoja išvedimo užklausų padalijimą ir maršrutizavimą per GPU, kad maksimalizuotų pralaidumą ir sumažintų delsą. Naujai išleistos diegimo receptūros pritaikytos NVIDIA B200 GPU ir suteikia kūrėjams paruoštas gaires, leidžiančias išvengti bandymų ir klaidų konfigūracijų, iškart padvigubinant našumą.

Ši iniciatyva siekia palengvinti Korėjos kūrėjų ir organizacijų kelią greičiau ir patikimiau perkelti atvirojo AI modelius į gamybos aplinkas. Pasinaudojant šiais iš anksto optimizuotais receptais, AI paslaugos, sukurtos pagal šiuos modelius, gali tapti labiau prieinamos platesnei auditorijai, atitinkančios NVIDIA viziją demokratizuoti AI efektyviais, skalėjamais diegimo sprendimais.

Kūrėjams, dirbantiems su didelio masto AI modeliais, NVIDIA Dynamo receptai yra vertingas išteklius valdant sudėtingą kelių GPU išvedimo maršrutizavimą, maksimaliai išnaudojant aparatinę įrangą. Šis leidimas pabrėžia augančią NVIDIA ir Korėjos AI tyrimų institucijų bendradarbiavimą, siekiant pažanginti AI galimybes pasauliniu mastu per atvirus ekosistemas ir optimizuotą infrastruktūrą.