Computer

Lambda verbessert die Effizienz und Zuverlässigkeit von KI-Training mit NVIDIA Photonics Co-Packaged Optics

Tendela Briefing ·
5 Aufrufe · 0 Kommentare
Lambda verbessert die Effizienz und Zuverlässigkeit von KI-Training mit NVIDIA Photonics Co-Packaged Optics

Image: NVIDIA · Source

Lambda setzt NVIDIA Photonics Co-Packaged Optics-Switches ein, um die Energieeffizienz zu steigern, Latenz zu reduzieren und die Resilienz in KI-Clustern mit über 10.000 GPUs für das großskalige Modelltraining zu erhöhen.

Das Training fortschrittlicher KI-Modelle erfordert die Zusammenarbeit von Tausenden GPUs, was eine Netzwerkinfrastruktur voraussetzt, die außergewöhnliche Geschwindigkeit, Effizienz und Zuverlässigkeit liefern kann. Lambda, ein Cloud-Dienstleister, der sich auf KI-Infrastruktur spezialisiert hat, hat diese Netzwerkherausforderung durch die Integration von NVIDIA Photonics Co-Packaged Optics (CPO) Switches in seine KI-Systeme adressiert.

Lambdas Umsetzung verbindet NVIDIA GB300 NVL72 Racks, die mehr als 10.000 GPUs umfassen, mit diesen innovativen CPO Switches, was die Gesamtresilienz und Effizienz der KI-Fabrik verbessert. Laut Dave Ward, Präsident von Cloud Services bei Lambda, sind Co-Packaged Optics entscheidend, um den schnell wachsenden Anforderungen großer KI-Cluster gerecht zu werden, und markieren einen wichtigen Fortschritt in der KI-Infrastruktur.

Tests zeigten, dass durch den Einsatz von NVIDIA Photonics Switches die Netzwerk-Latenz um etwa 4 % auf Rack-Ebene und bis zu 10 % auf Pod-Ebene reduziert wurde, während der Durchsatz auf dem Niveau herkömmlicher steckbarer Optik blieb.

Die Verbesserungen in der Energieeffizienz sind bedeutsam, da Netzwerke Energie verbrauchen, die anderweitig für Rechenoperationen genutzt werden könnte. NVIDIA Photonics ersetzt herkömmliche steckbare Transceiver durch optische Module, die eng mit dem Switch-Chip integriert sind, was eine bis zu fünffach bessere Energieeffizienz und eine fünfzehnmal höhere Zuverlässigkeit ermöglicht. Das Design verwendet außerdem viermal weniger Laser, was potenzielle Fehlerquellen minimiert.

Die Vorteile im thermischen Management sind bemerkenswert. Lambdas Aufbau nutzt Flüssigkeitskühlung zur effektiven Wärmeabfuhr und verzeichnet mittlere Optiktemperaturen von 36 °C im Vergleich zu 51 °C bei typischer steckbarer Optik, was zur verbesserten Signalintegrität beiträgt.

Darüber hinaus umfasst die Systemarchitektur achtzehn abnehmbare externe Lichtquellen pro Switch-Paket, die den Austausch von Lichtmodulen im Feld ermöglichen – ein Unterschied zur traditionellen Optik, die bei einem Laserfehler einen kompletten Modulwechsel erfordert. Durch die drastische Verkürzung der elektrischen Wege von Zoll auf Millimeter reduzieren die Co-Packaged Optics Signalverluste und eliminieren die Notwendigkeit von Zwischen-Retimer-Chips, was den Energieverbrauch und die Komplexität der Komponenten weiter senkt.

Lambdas Einsatz von NVIDIA Photonics ist ein Beispiel für eine strategische Infrastrukturverbesserung, die die Leistung des KI-Trainings, die Netzresilienz und die Energieeffizienz großflächig steigert. Die Implementierung spiegelt die wachsenden Branchenbemühungen wider, KI-Fabriknetzwerke zu optimieren, um immer größere und komplexere KI-Workloads zu unterstützen.

▶ Lambda Boosts AI Factory Resiliency and Efficiency With NVIDIA Photonics — Video ansehen ↗

Quellen und Originalberichte

Kommentare (0)

Noch keine Kommentare.

Kommentar schreiben

Kommentare erscheinen nach Moderation. Name und Kommentar werden öffentlich angezeigt. Konto