NVIDIA GPU-d toimetavad OpenAI GPT-6 Astra Ultrafast kiirema jõudluse saavutamiseks

Pilt: NVIDIA · Allikas

OpenAI GPT-6 Astra Ultrafast, mida kiirendavad NVIDIA Blackwell GPU-d, pakub kuni 8 korda kiiremat tokenite genereerimist võrreldes tavalise režiimiga ning on nüüd saadaval OpenAI API kaudu.

OpenAI GPT-6 Astra Ultrafast töötab NVIDIA Blackwell GPU-del ning on integreeritud OpenAI API-sse, mis on kättesaadav õigustatud ChatGPT Work ja Codexi kasutajatele. Kasutades inference optimeerimisi ja arenenud NVIDIA Blackwell arhitektuuri, võimaldab Ultrafast režiim tokenite genereerimise kiirust kuni kaheksakordseks Astra Standardiga võrreldes. See täiendus on suunatud arendajatele, et võimaldada neil luua rakendusi, mis vajavad kiiret keelemudeli järelduse tegemist ja parandatud efektiivsust.