Datorer

Lambda förbättrar AI-träningens effektivitet och tillförlitlighet med NVIDIA Photonics samförpackade optik

Tendela Briefing ·
5 visningar · 0 Kommentarer
Lambda förbättrar AI-träningens effektivitet och tillförlitlighet med NVIDIA Photonics samförpackade optik

Bild: NVIDIA · Källa

Lambda använder NVIDIA Photonics samförpackade optikbrytare för att förbättra energieffektivitet, sänka latens och öka motståndskraften i AI-kluster som kopplar samman över 10 000 GPU:er för storskalig modellträning.

Träning av avancerade AI-modeller kräver samarbete mellan tusentals GPU:er, vilket ställer krav på en nätverksinfrastruktur som kan leverera exceptionell hastighet, effektivitet och tillförlitlighet. Lambda, en molntjänstleverantör som specialiserar sig på AI-infrastruktur, har tacklat denna nätverksutmaning genom att integrera NVIDIA Photonics samförpackade optik (CPO)-brytare i sina AI-system.

Lambdas implementation kopplar samman NVIDIA GB300 NVL72-rack, med mer än 10 000 GPU:er, med dessa innovativa CPO-brytare, vilket förbättrar den totala AI-fabrikens motståndskraft och effektivitet. Enligt Dave Ward, Lambdas president för molntjänster, är samförpackad optik avgörande för att stödja de snabbt växande behoven hos stora AI-kluster, vilket markerar ett viktigt framsteg inom AI-infrastruktur.

Tester visade att införandet av NVIDIA Photonics-brytare minskade nätverkslatensen med cirka 4 % på racknivå och upp till 10 % på podnivå, samtidigt som genomströmningen hölls i nivå med traditionell pluggbar optik.

Förbättringar av energieffektiviteten är betydande eftersom nätverk förbrukar energi som annars skulle kunna användas för beräkningsoperationer. NVIDIA Photonics ersätter konventionella pluggbara transceivrar med optiska motorer nära integrerade med switchchipet, vilket resulterar i upp till fem gånger bättre energieffektivitet och femton gånger högre tillförlitlighet. Designen använder också fyra gånger färre lasrar, vilket minimerar potentiella felkällor.

Termisk hantering är också anmärkningsvärd. Lambdas setup använder vätskekylning för att effektivt avleda värme, med medianoptiktemperaturer på 36°C jämfört med 51°C i typisk pluggbar optik, vilket bidrar till förbättrad signalintegritet.

Dessutom inkluderar systemets arkitektur arton utbytbara externa ljuskällor per switchpaket, vilket möjliggör fältbyte av ljusmoduler – en skillnad från traditionell optik som kräver fullständigt modulbyte vid laserfel. Genom att drastiskt förkorta de elektriska banorna från tum till millimeter minskar samförpackad optik signalförlust och eliminerar behovet av mellanliggande retimer-chip, vilket ytterligare minskar energiförbrukning och komponentkomplexitet.

Lambdas användning av NVIDIA Photonics är ett exempel på en strategisk infrastrukturförbättring som ökar AI-träningsprestanda, nätverksmotståndskraft och energieffektivitet i stor skala. Implementeringen speglar växande branschinsatser för att förfina AI-fabrikernas nätverk för att stödja allt större och mer komplexa AI-arbetsbelastningar.

▶ Lambda Boosts AI Factory Resiliency and Efficiency With NVIDIA Photonics — Titta på video ↗

Källor och ursprunglig rapportering

Kommentarer (0)

Inga kommentarer ännu. Börja diskussionen.

Skriv en kommentar

Kommentarer publiceras efter granskning. Ditt namn och kommentar syns offentligt. Konto