Informática

Lambda mejora la eficiencia y fiabilidad del entrenamiento de IA con óptica co-empaquetada NVIDIA Photonics

Tendela Briefing ·
5 lecturas · 0 Comentarios
Lambda mejora la eficiencia y fiabilidad del entrenamiento de IA con óptica co-empaquetada NVIDIA Photonics

Image: NVIDIA · Source

Lambda implementa conmutadores de óptica co-empaquetada NVIDIA Photonics para mejorar la eficiencia energética, reducir la latencia y aumentar la resiliencia en clústeres de IA que conectan más de 10,000 GPUs para entrenamiento de modelos a gran escala.

El entrenamiento de modelos avanzados de IA requiere la colaboración de miles de GPUs, lo que demanda una infraestructura de red capaz de ofrecer una velocidad, eficiencia y fiabilidad excepcionales. Lambda, un proveedor de servicios en la nube especializado en infraestructura para IA, ha abordado este desafío de red integrando conmutadores de óptica co-empaquetada (CPO) NVIDIA Photonics en sus sistemas de IA.

La implementación de Lambda conecta racks NVIDIA GB300 NVL72, que comprenden más de 10,000 GPUs, con estos innovadores conmutadores CPO, mejorando la resiliencia y eficiencia general de la factoría de IA. Según Dave Ward, presidente de servicios en la nube de Lambda, la óptica co-empaquetada es crucial para soportar las crecientes demandas de grandes clústeres de IA, marcando un avance importante en la infraestructura de IA.

Las pruebas mostraron que la incorporación de conmutadores NVIDIA Photonics redujo la latencia de red aproximadamente un 4% a escala de rack y hasta un 10% a escala de pod, manteniendo el mismo rendimiento que la óptica enchufable tradicional.

Las mejoras en eficiencia energética son significativas porque la red consume energía que de otro modo podría destinarse a operaciones de cálculo. NVIDIA Photonics reemplaza los transceptores enchufables convencionales con motores ópticos integrados estrechamente con el chip del conmutador, logrando hasta cinco veces mejor eficiencia energética y quince veces mayor fiabilidad. El diseño también utiliza cuatro veces menos láseres, minimizando los puntos potenciales de fallo.

Los beneficios en gestión térmica son notables. La configuración de Lambda emplea refrigeración líquida para disipar el calor eficazmente, registrando temperaturas medias de óptica de 36°C en comparación con 51°C en óptica enchufable típica, lo que contribuye a mejorar la integridad de la señal.

Además, la arquitectura del sistema incluye dieciocho fuentes de luz externas removibles por paquete de conmutador, lo que permite reemplazar módulos de luz en campo, a diferencia de la óptica tradicional que requiere cambiar módulos completos ante la falla de un láser. Al acortar drásticamente las rutas eléctricas de pulgadas a milímetros, la óptica co-empaquetada reduce la pérdida de señal y elimina la necesidad de chips retimer intermedios, lo que reduce aún más el consumo energético y la complejidad de los componentes.

La adopción de NVIDIA Photonics por Lambda ejemplifica una mejora estratégica en infraestructura que potencia el rendimiento del entrenamiento de IA, la resiliencia de la red y la eficiencia energética a escala. Esta implementación refleja los crecientes esfuerzos en la industria por optimizar las redes de factorías de IA para soportar cargas de trabajo de IA cada vez más grandes y complejas.

▶ Lambda Boosts AI Factory Resiliency and Efficiency With NVIDIA Photonics — Ver vídeo ↗

Fuentes e informes originales

Comentarios (0)

Aún no hay comentarios.

Escribe un comentario

Los comentarios se publican tras moderación. Tu nombre y comentario serán públicos. Cuenta