Google lanserar två nya specialiserade TPU:er för att förbättra AI-arbetsbelastningar

Bild: TPU 8tx and TPU 8i Max · Källa

Google utökar sin åttonde generationens Tensor Processing Unit (TPU) med TPU 8tx för säker AI-modellträning och TPU 8i Max för ökad minneskapacitet, vilket möter säkerhets- och kontextfönsterkrav inom AI-applikationer.

Google har tillkännagett två nya tillägg till sitt åttonde generations Tensor Processing Unit (TPU)-portfölj som förbättrar dess kapabiliteter över olika AI-arbetsbelastningar. TPU 8tx och TPU 8i Max introducerar specialiserade hårdvarufunktioner som fokuserar på säker modellträning respektive större minneskapacitet.

TPU 8tx, utvecklad i samarbete med AMD, bygger på TPU 8t-chipet och är anpassad för konfidentiell inferens och träning. Denna chip inkluderar säkerhet på hårdvarunivå som skyddar känsliga data och modellvikter även under aktiv användning, en kritisk funktion för reglerade företag och myndigheter som hanterar proprietär eller klassificerad information. Chippets design stöder samtidig inferens och träning, vilket möjliggör att organisationer kan finjustera modeller på privata data utan att överföra dessa data mellan enheter, vilket förbättrar datasekretess och operativ effektivitet.

I kontrast adresserar TPU 8i Max utmaningar som ställs av AI-arbetsbelastningar som kräver massiva kontextfönster. Genom att kombinera två TPU 8i-inferensfokuserade chip i ett enda paket fördubblar TPU 8i Max minneskapacitet, processorkraft och bandbredd. Denna design tillåter AI-modeller att hantera större dataset och komplexa frågor effektivt samtidigt som den ger den högsta beräkningsdensiteten per rack, vilket gör det möjligt för datacenter att öka beräkningskraften utan att kräva mer fysisk plats.

Googles TPU-portfölj omfattar nu fyra system för olika faser av AI-utveckling: TPU 8t för storskalig träning, TPU 8i för låg latens-resonemang, TPU 8tx för säker beräkning och TPU 8i Max för omfattande kontexthantering. Denna utökade serie speglar Googles strategi att bygga modulär, högpresterande AI-hårdvara integrerad med flexibel systemdesign, inklusive högpresterande nätverk, minne och säkerhetskomponenter.

För att underlätta bredare antagande bland utvecklare har Google förbättrat TPU-åtkomsten. Nyliga utvecklingar inkluderar inbyggt stöd för populära ramverk som PyTorch och Hugging Face, öppen källkod av mjukvaruverktyg för enklare hårdvaru-integration samt prestandaoptimeringar som levererar toppresultat på benchmarks som simulerar verkliga AI-arbetsbelastningar.

Dessa framsteg sker i en tid där stora teknikföretag och AI-forskningslaboratorier utvecklar specialiserade AI-chip för att minska beroendet av traditionella GPU-leverantörer. Google betonar att dessa nya TPU-system inte bara möjliggör forskning och kommersiella AI-projekt utan också bidrar till ett agilt hårdvaru-mjukvaruekosystem utformat för att möta utvecklande AI-behov.

För mer information om dessa TPU-system har Google tillhandahållit tekniska resurser och en sändning som förklarar deras arkitektur och kapaciteter på Google Cloud-plattformen.