NVIDIA GPU piedāvā OpenAI GPT-6 Astra Ultrafast ātrākiem veiktspējas rādītājiem

Attēls: NVIDIA · Avots

OpenAI GPT-6 Astra Ultrafast, kuru paātrina NVIDIA Blackwell GPU, piedāvā līdz pat 8 reizes ātrāku tokenu ģenerēšanu nekā standarta režīmā un tagad ir pieejams caur OpenAI API.

OpenAI GPT-6 Astra Ultrafast darbojas uz NVIDIA Blackwell GPU un ir integrēts OpenAI API, kas ir pieejams kvalificētiem ChatGPT Work un Codex lietotājiem. Izmantojot inferenču optimizācijas un progresīvo NVIDIA Blackwell arhitektūru, Ultrafast režīms nodrošina tokenu ģenerēšanas ātrumu līdz astoņkārtīgam Astra Standarta ātrumam. Šis uzlabojums ir domāts, lai izstrādātāji varētu veidot lietojumprogrammas, kas prasa ātru valodas modeļa inferenci ar uzlabotu efektivitāti.