NVIDIA Vera protsessor parandab AI agentide jõudlust ja energiatõhusust

Pilt: NVIDIA · Allikas

NVIDIA Vera protsessor pakub parimat AI agentide kiirust ja energiatõhusust, võimaldades rohkem agente vati kohta kui juhtivad x86 protsessorid. Varased kasutajad teatavad kuni 2,2 korda kiiremast töötlemisest AI töökoormuste puhul, toetades piiratud võimsusega AI infrastruktuuri.

AI agendid täidavad keerukaid ülesandeid, nagu informatsiooni otsimine, andmebaaside päringud, kodeerimine ja toimingute täitmine, mis kõik nõuavad sujuvat koostööd GPU mõtlemise ja CPU täitmise vahel. Seda silmas pidades on NVIDIA välja toonud Vera protsessori, mis on loodud optimeerima nii läbilaskevõimet kui ka kiirust AI agentide jaoks, säilitades samal ajal kõrge energiatõhususe.

AI infrastruktuuri pakkujad seisavad silmitsi väljakutsega toetada korraga paljusid agente ilma töötlemisaega pikendamata, jäädes rangetesse võimsuspiiridesse. Vera leevendab neid piiranguid, pakkudes kiireimat agentide kiirust koos suure võimsusega vati kohta, koondades ülesanded, mis tavaliselt on jaotatud kiirete ja tihedate x86 protsessorite vahel, ühtseks lahenduseks.

Suurte andmekeskuste võrdlustes, kus kasutatakse 100 megavati võimsust, teatab NVIDIA, et Vera ületab kiiruse ja energiatõhususe poolest kiireimaid x86 protsessoreid. Täpsemalt võimaldab Vera 1,6 korda rohkem agente vati kohta kui kiireimad x86 protsessorid ning saavutab kaks korda suurema kiiruse koos parema energiatõhususega võrreldes kõige ökonoomsemate x86 mudelitega.

Tööstuse varased kasutajad on kinnitanud Vera eeliseid tootmiskeskkonnale lähedastes tingimustes. Perplexity suurendas agentide kodeerimise kiirust 1,5 korda ning plaanib Vera laialdasemat kasutuselevõttu. DeepInfra saavutab kuni 2,2 korda kiirema agentide korralduse võrreldes parimate x86 protsessoritega. ClickHouse näitas peaaegu lineaarset skaleerumist 176 tuumaga Vera peal, jõudes oma riistvara võrdlustabelite tippu. Teised ettevõtted nagu DuckLabs, Daytona ja Modal teatasid olulistest jõudluse tõusudest liivakastikeskkondades ja läbilaskevõimes võrreldes traditsiooniliste x86 süsteemidega.

NVIDIA Vera paigutub kui läbimurdeline CPU AI-tehastesse, tasakaalustades kiirust, agentide tihedust ja energiatõhusust, et rahuldada tänapäevaste AI töökoormuste nõudmisi. Rohkem teavet Vera ja selle tehniliste võimetega on saadaval NVIDIA ametlikes kanalites.