NVIDIA Julkaisee Dynamo-asetus Suosituimmille Korean Avoimen AI-mallien Käyttöönotolle

Kuva: NVIDIA · Lähde

NVIDIA esittelee Dynamo-optimoinnit, joilla voidaan tehokkaasti ottaa käyttöön johtavat Korean avoimen AI-mallit useilla GPU:illa, parantaen suorituskykyä ja kiihdyttäen tuotantokäyttöä.

NVIDIA on julkaissut käyttöönottoasetuksia, jotka on optimoitu sen Dynamo-kehystä varten ja tukevat useita merkittäviä Etelä-Koreassa kehitettyjä avoimen lähdekoodin AI-malleja. Näihin kuuluvat SK Telecomin A.X K2, LG AI Researchin K-EXAONE 2.0, Upstagen Solar Open 2 sekä Motif Technologiesin Motif-3. Kun AI-mallit kasvavat monimutkaisemmiksi ja suuremmiksi kuin yhden GPU:n kapasiteetti, ne vaativat jakamista useiden GPU:iden kesken huolellisella pyyntöjen reitityksellä ja GPU:den välisellä viestinnällä suorituskyvyn ylläpitämiseksi.

NVIDIA Dynamo on avoimen lähdekoodin hajautettu inferenssin palvelukehys, joka on suunniteltu ottamaan tällaiset suuret mallit tehokkaasti käyttöön monisolmuisissa datakeskusympäristöissä. Se koordinoi inferenssipyyntöjen pilkkomista ja reititystä GPU:iden kesken maksimoiden läpimenon ja minimoiden viiveen. Vastikään julkaistut käyttöönottoasetukset on räätälöity NVIDIA B200 GPU:ille ja ne tarjoavat kehittäjille valmiit ohjeistukset kokeilujen välttämiseksi, mikä johtaa jopa kaksinkertaiseen suorituskykyyn heti käyttöönoton yhteydessä.

Tämä aloite pyrkii helpottamaan Korean kehittäjien ja organisaatioiden matkaa siirtää avoimen AI-mallinsa tuotantoympäristöihin nopeammin ja luotettavammin. Hyödyntämällä näitä etukäteen optimoituja asetuksia näihin malleihin perustuvat AI-palvelut voivat tulla laajemman yleisön saataville, mikä tukee NVIDIA:n visiota AI:n demokratisoinnista tehokkaiden, skaalautuvien käyttöönottojen kautta.

Suurella mittakaavalla AI-mallien parissa työskenteleville kehittäjille NVIDIA:n Dynamo-asetukset ovat arvokas resurssi, jolla hallita monen GPU:n inferenssin reitityksen monimutkaisuutta sekä maksimoida laitteiston hyödyntäminen. Tämä julkaisu korostaa NVIDIA:n ja Korean AI-tutkimuslaitosten kasvavaa yhteistyötä AI-kyvykkyyksien edistämisessä globaalisti avoimien ekosysteemien ja optimoidun infrastruktuurin kautta.