Google tutvustab kahte uut spetsialiseeritud TPU-d AI töökoormuste täiustamiseks

Pilt: TPU 8tx and TPU 8i Max · Allikas

Google laiendab oma kaheksanda põlvkonna Tensor Processing Unit (TPU) valikut TPU 8tx ja TPU 8i Max mudelitega, mis on mõeldud konfidentsiaalseks AI mudelite koolituseks ning suurenenud mälumahtude toetamiseks, vastates turbe- ja kontekstiakna nõudmistele AI rakendustes.

Google on tutvustanud kahte uut lisandust oma kaheksanda põlvkonna Tensor Processing Unit (TPU) portfellis, laiendades võimekust mitmesuguste AI töökoormuste vajaduste täitmiseks. TPU 8tx ja TPU 8i Max toovad spetsialiseeritud riistvaralisi funktsioone, keskendudes vastavalt turvalisele mudelite koolitusele ja suuremale mälumahtule.

TPU 8tx, arendatud koostöös AMD-ga, põhineb TPU 8t kiibil ja on kohandatud konfidentsiaalseks inferentsiks ja koolituseks. See kiip sisaldab riistvaralist turvalisust, mis kaitseb tundlikke andmeid ja mudeli kaalu isegi aktiivse kasutamise ajal – see on oluline funktsioon reguleeritud ettevõtetele ja valitsusasutustele, kes tegelevad omandiõigustega või klassifitseeritud informatsiooniga. Kiibi disain toetab samaaegset inferentsi ja koolitust, võimaldades organisatsioonidel privaatseid andmeid kasutades mudeleid täpsustada ilma andmeid seadmete vahel edasi kandmata, parandades nii andmete privaatsust kui ka töö efektiivsust.

Vastandina lahendab TPU 8i Max AI töökoormuste probleeme, mis nõuavad tohutuid kontekstiaknaid. Kahe TPU 8i, mis on optimeeritud inferentsiks, ühendamine üheks pakendiks kahekordistab mälumahtu, töötlemisvõimsust ja ribalaiust. See disain võimaldab AI mudelitel käsitleda ulatuslikumaid andmekogumeid ja keerukamaid päringuid tõhusalt, pakkudes samas kõrgeimat arvutusvõimsuse tihedust racki kohta ning võimaldades andmekeskustel suurendada arvutusvõimsust ilma lisaruumita.

Google'i TPU portfell hõlmab nüüd nelja süsteemi erinevate AI arendusetappide jaoks: TPU 8t suurmahulise koolituse jaoks, TPU 8i madala latentsusega loogikaprotsessimiseks, TPU 8tx turvaliseks arvutamiseks ja TPU 8i Max ulatusliku kontekstitalitlusega haldamiseks. See laiendatud valik peegeldab Google'i lähenemist moodulisele, kõrge jõudlusega AI riistvarale, mis on integreeritud paindliku süsteemidisaini ning kiirevõrgu, mälu ja turbekomponentidega.

Suurendamaks arendajate laialdasemat kasutuselevõttu, on Google parandanud TPU ligipääsetavust. Viimased arengud hõlmavad natiivset tuge populaarsetele raamistikele nagu PyTorch ja Hugging Face, tarkvaratööriistade avamist lihtsamaks riistvaraga integreerimiseks ning jõudluse optimeerimist, mis toob kaasa tipptasemel tulemused AI töökoormusi imiteerivatel võrdlustestidel.

Need edusammud toimuvad ajal, mil suured tehnoloogiaettevõtted ja AI uurimislaborid arendavad spetsialiseeritud AI kiipe, et vähendada sõltuvust traditsioonilistest GPU tarnijatest. Google rõhutab, et uued TPU süsteemid mitte ainult ei toeta uurimis- ja kaubanduslikke AI projekte, vaid aitavad kaasa ka paindliku riistvara-tarkvara ökosüsteemi loomisele, mis on mõeldud muutuvate AI nõudmiste täitmiseks.

Lisainformatsiooni nende TPU süsteemide kohta pakub Google tehnilisi ressursse ning otseülekannet, mis selgitab nende arhitektuuri ja võimeid Google Cloud platvormil.