Komputery

Lambda zwiększa efektywność i niezawodność treningu AI dzięki optyce współpakowanej NVIDIA Photonics

Tendela Briefing ·
5 odsłon · 0 Komentarze
Lambda zwiększa efektywność i niezawodność treningu AI dzięki optyce współpakowanej NVIDIA Photonics

Image: NVIDIA · Source

Lambda wdraża przełączniki współpakowanej optyki NVIDIA Photonics, aby poprawić efektywność energetyczną, zmniejszyć opóźnienia i zwiększyć odporność klastrów AI łączących ponad 10 000 GPU do szkolenia modeli na dużą skalę.

Szkolenie zaawansowanych modeli AI wymaga współpracy tysięcy GPU, co wymaga infrastruktury sieciowej o wyjątkowej szybkości, efektywności i niezawodności. Lambda, dostawca usług chmurowych specjalizujący się w infrastrukturze AI, rozwiązał to wyzwanie sieciowe, integrując współpakowane przełączniki optyczne NVIDIA Photonics (CPO) w swoich systemach AI.

Implementacja Lambdy łączy szafy NVIDIA GB300 NVL72, składające się z ponad 10 000 GPU, za pomocą tych innowacyjnych przełączników CPO, poprawiając ogólną odporność i efektywność fabryki AI. Według Dave'a Warda, prezydenta usług chmurowych Lambdy, optyka współpakowana jest kluczowa dla wsparcia szybko rosnących wymagań dużych klastrów AI, co stanowi ważny krok w rozwoju infrastruktury AI.

Testy wykazały, że zastosowanie przełączników NVIDIA Photonics zmniejszyło opóźnienie sieciowe o około 4% na poziomie szafy i do 10% na poziomie klastra (pod), przy jednoczesnym utrzymaniu przepustowości na poziomie tradycyjnej optyki wtykowej.

Poprawa efektywności energetycznej jest istotna, ponieważ sieć pochłania energię, którą można by przeznaczyć na operacje obliczeniowe. NVIDIA Photonics zastępuje tradycyjne transceivery wtykowe silnikami optycznymi ściśle zintegrowanymi z chipem przełącznika, co skutkuje nawet pięciokrotną większą efektywnością energetyczną i piętnastokrotnie wyższą niezawodnością. Projekt wykorzystuje również cztery razy mniej laserów, co minimalizuje możliwe punkty awarii.

Korzyści w zarządzaniu termicznym są znaczące. Konfiguracja Lambdy korzysta z chłodzenia cieczą do skutecznego rozpraszania ciepła, rejestrując medianę temperatur optyki na poziomie 36°C w porównaniu do 51°C w typowej optyce wtykowej, co poprawia integralność sygnału.

Co więcej, architektura systemu zawiera osiemnaście wymiennych zewnętrznych źródeł światła na pakiet przełącznika, umożliwiając wymianę modułów świetlnych w terenie — co odróżnia ją od tradycyjnej optyki wymagającej pełnej wymiany modułu przy awarii lasera. Skracając elektryczne ścieżki z cali do milimetrów, optyka współpakowana redukuje straty sygnału i eliminuje potrzebę stosowania pośrednich chipów retimerów, co jeszcze bardziej zmniejsza zużycie energii i złożoność komponentów.

Adopcja NVIDIA Photonics przez Lambdę jest przykładem strategicznej poprawy infrastruktury, która zwiększa wydajność treningu AI, odporność sieci i efektywność energetyczną na dużą skalę. To wdrożenie odzwierciedla rosnące wysiłki branży w celu udoskonalenia sieci fabryk AI, by wspierać stale większe i bardziej złożone obciążenia AI.

▶ Lambda Boosts AI Factory Resiliency and Efficiency With NVIDIA Photonics — Obejrzyj film ↗

Źródła i oryginalne doniesienia

Komentarze (0)

Nie ma jeszcze komentarzy.

Napisz komentarz

Komentarze publikujemy po moderacji. Nazwa i komentarz będą publiczne. Konto