NVIDIA Vera -suoritin parantaa tekoälyagenttien suorituskykyä ja energiatehokkuutta

Kuva: NVIDIA · Lähde

NVIDIAn Vera-suoritin tarjoaa huippuluokan tekoälyagenttien nopeuden ja energiatehokkuuden, mahdollistaen useampien agenttien toiminnan wattia kohden verrattuna johtaviin x86-suorittimiin. Ensikäyttäjät raportoivat jopa 2,2-kertaisesti nopeammasta suorittamisesta tekoälykuormituksissa, tukeen energiaa rajoittavaa tekoälyinfrastruktuuria.

Tekoälyagentit suorittavat monimutkaisia tehtäviä, kuten tiedonhakuja, tietokantakyselyitä, ohjelmointia ja toimintojen toimeenpanoa, jotka kaikki vaativat sujuvaa yhteistyötä GPU:n päättelyn ja suorittimen suorituksen välillä. Tätä tunnistaen NVIDIA on esitellyt Vera-suoritin, joka on suunniteltu optimoimaan sekä läpimenoa että nopeutta tekoälyagenteille ylläpitäen samalla erinomaista energiatehokkuutta.

Tekoälyinfrastruktuurin tarjoajat kohtaavat haasteen tukea lukuisia agentteja samanaikaisesti ilman, että niiden käsittelyaika pitenee, kaikki tiukoissa tehonkulutusrajoissa. Vera vastaa näihin vaatimuksiin tarjoamalla nopeimmat agenttinopeudet sekä korkean kapasiteetin wattiä kohti, yhdistäen tehtävät, jotka yleensä jaettiin nopeiden ja tiheiden x86-prosessoreiden kesken, yhdeksi ratkaisuksi.

Suurten datakeskusten vertailuissa, joissa käytetään 100 megavatin tehoa, NVIDIA raportoi, että Vera ylittää nopeimmat ja energiatehokkaimmat x86-suorittimet. Tarkemmin sanottuna Vera mahdollistaa 1,6 kertaa useamman agentin wattia kohden kuin nopeimmat x86-suorittimet ja saavuttaa kaksinkertaisen nopeuden paremmalla energiatehokkuudella verrattuna energiatehokkaimpiin x86-malleihin.

Varhaiset teollisuuden käyttäjät ovat vahvistaneet Veran hyödyt tuotantoympäristöissä. Perplexity nopeutti agenttipohjaista ohjelmointitehtävää 1,5-kertaiseksi ja suunnittelee Veran laajaa käyttöönottoa. DeepInfra saavutti jopa 2,2-kertaisen agenttien orkestrointinopeuden verrattuna parhaisiin x86-suorittimiin. ClickHouse osoitti lähes lineaarisen skaalaamisen 176 ytimen käytöllä Veran kanssa saavuttaen laitteistopisteytyksensä huipun. Muut yritykset, kuten DuckLabs, Daytona ja Modal, raportoivat merkittäviä suorituskyvyn parannuksia hiekkalaatikkotoiminnoissa ja läpimenossa verrattuna perinteisiin x86-järjestelmiin.

NVIDIA Vera profiloituu muutosvoimaiseksi suorittimeksi tekoälytehtaille, joka tasapainottaa nopeuden, agenttitiheyden ja energiatehokkuuden täyttääkseen nykyaikaisten tekoälykuormitusten vaatimukset. Lisätietoja Verasta ja sen teknisistä ominaisuuksista löytyy NVIDIAn virallisista kanavista.