Google lanza dos nuevos TPUs especializados para mejorar cargas de trabajo de IA

Image: TPU 8tx and TPU 8i Max · Source

Google amplía su línea de unidades de procesamiento tensorial (TPU) de octava generación con TPU 8tx para entrenamiento confidencial de modelos de IA y TPU 8i Max para mayor capacidad de memoria, atendiendo requerimientos de seguridad y ventana contextual en aplicaciones de IA.

Google ha anunciado dos nuevas incorporaciones a su portafolio de unidades de procesamiento tensorial (TPU) de octava generación, mejorando sus capacidades para diversas necesidades de cargas de trabajo de IA. El TPU 8tx y el TPU 8i Max introducen características de hardware especializadas que se enfocan en el entrenamiento seguro de modelos y una mayor capacidad de memoria, respectivamente.

El TPU 8tx, desarrollado en colaboración con AMD, se basa en el chip TPU 8t y está diseñado para inferencia y entrenamiento confidenciales. Este chip incorpora seguridad a nivel de hardware que protege datos sensibles y pesos del modelo incluso mientras están en uso activo, una característica crítica para empresas reguladas y entidades gubernamentales que manejan información propietaria o clasificada. El diseño del chip soporta inferencia y entrenamiento simultáneos, permitiendo a las organizaciones ajustar modelos con datos privados sin transferir esos datos entre dispositivos, mejorando así la privacidad y la eficiencia operativa.

En contraste, el TPU 8i Max aborda los desafíos presentados por cargas de trabajo de IA que requieren enormes ventanas contextuales. Combinando dos chips TPU 8i enfocados en inferencia en un solo paquete, el TPU 8i Max duplica la capacidad de memoria, poder de procesamiento y ancho de banda. Este diseño permite a los modelos de IA manejar conjuntos de datos más extensos y consultas complejas eficazmente, mientras proporciona la mayor densidad de cómputo por rack, lo que permite a los centros de datos aumentar la potencia computacional sin añadir espacio físico adicional.

El portafolio de TPU de Google ahora comprende cuatro sistemas para varias etapas del desarrollo de IA: TPU 8t para entrenamiento a gran escala, TPU 8i para razonamiento de baja latencia, TPU 8tx para computación segura y TPU 8i Max para gestión extensa del contexto. Esta línea ampliada refleja el enfoque de Google en construir hardware de IA modular y de alto rendimiento integrado con un diseño de sistema flexible, que incluye componentes de red de alta velocidad, memoria y seguridad.

Para facilitar una adopción más amplia por parte de desarrolladores, Google ha mejorado la accesibilidad de las TPU. Los desarrollos recientes incluyen soporte nativo para frameworks populares como PyTorch y Hugging Face, la apertura del código fuente de herramientas de software para una integración de hardware más sencilla, y optimizaciones de rendimiento que ofrecen resultados de vanguardia en pruebas que simulan cargas de trabajo reales de IA.

Estos avances ocurren en un contexto de creciente tendencia donde grandes empresas tecnológicas y laboratorios de investigación en IA desarrollan chips especializados para reducir la dependencia de proveedores tradicionales de GPU. Google enfatiza que estos nuevos sistemas TPU no solo impulsan proyectos de investigación y comerciales en IA, sino que también contribuyen a un ecosistema ágil de hardware-software diseñado para demandas evolucionadas de IA.

Para más detalles sobre estos sistemas TPU, Google ha proporcionado recursos técnicos y una transmisión que explica su arquitectura y capacidades en la plataforma Google Cloud.