Lambda forbedrer AI-treningens effektivitet og pålitelighet med NVIDIA Photonics sampakket optikk

Bilde: NVIDIA · Kilde
Lambda tar i bruk NVIDIA Photonics sampakkede optiske brytere for å forbedre energieffektivitet, redusere forsinkelse og øke robusthet i AI-klynger som kobler sammen over 10 000 GPU-er for storskala modelltrening.
Opplæring av avanserte AI-modeller krever samarbeid mellom tusenvis av GPU-er, noe som krever en nettverksinfrastruktur som kan levere eksepsjonell hastighet, effektivitet og pålitelighet. Lambda, en skytjenesteleverandør som spesialiserer seg på AI-infrastruktur, har løst denne nettverksutfordringen ved å integrere NVIDIA Photonics sampakkede optiske (CPO) brytere i sine AI-systemer.
Lambdas implementering kobler NVIDIA GB300 NVL72-rack, som består av mer enn 10 000 GPU-er, med disse innovative CPO-bryterne, og forbedrer den totale motstandsdyktigheten og effektiviteten i AI-fabrikken. Ifølge Dave Ward, Lambdas president for skytjenester, er sampakket optikk avgjørende for å støtte de raskt voksende behovene til store AI-klynger, noe som markerer et viktig fremskritt innen AI-infrastruktur.
Testing viste at innføring av NVIDIA Photonics-brytere reduserte nettverkslatens med omtrent 4 % på racknivå og opptil 10 % på pod-nivå, samtidig som gjennomstrømningen holdt seg på nivå med tradisjonell pluggbar optikk.
Forbedringer i energieffektiviteten er betydelige fordi nettverk bruker energi som ellers kunne ha drevet beregningsoperasjoner. NVIDIA Photonics erstatter konvensjonelle pluggbare transceivere med optiske motorer tett integrert med bryterbrikken, noe som resulterer i opptil fem ganger bedre energieffektivitet og femten ganger høyere pålitelighet. Designet bruker også fire ganger færre lasere, noe som minimerer potensielle feilkilder.
Termisk håndtering er også bemerkelsesverdig. Lambdas oppsett benytter væskekjøling for effektiv varmeavledning, med median optikktemperaturer på 36°C sammenlignet med 51°C i typisk pluggbar optikk, noe som bidrar til bedre signalintegritet.
Videre inkluderer systemets arkitektur atten utskiftbare eksterne lyskilder per bryterpakke, som muliggjør feltutskifting av lysmoduler — et brudd med tradisjonell optikk som krever full modulbytte ved laserfeil. Ved å drastisk forkorte de elektriske banene fra tommer til millimeter reduserer den sampakkede optikken signaltap og eliminerer behovet for mellomliggende retimer-chips, noe som ytterligere kutter strømforbruk og komponentkompleksitet.
Lambdas adopsjon av NVIDIA Photonics eksemplifiserer en strategisk infrastrukturforbedring som øker AI-treningsytelse, nettverksrobusthet og energieffektivitet i stor skala. Implementeringen reflekterer økende bransjeinnsatser for å forbedre AI-fabrikknettverk for å støtte stadig større og mer komplekse AI-arbeidslaster.
Kilder og originalrapportering
Les originalkilden ↗

Kommentarer (0)
Ingen kommentarer ennå. Start diskusjonen.
Skriv en kommentar
Kommentarer publiseres etter moderering. Ditt navn og kommentar vil være synlige offentlig. Konto