NVIDIA GPU-er driver OpenAIs GPT-6 Astra Ultrafast for raskere ytelse

Bilde: NVIDIA · Kilde

OpenAIs GPT-6 Astra Ultrafast, akselerert av NVIDIA Blackwell GPU-er, tilbyr opptil åtte ganger raskere generering av token enn standardmodus og er nå tilgjengelig via OpenAI API.

OpenAIs GPT-6 Astra Ultrafast kjører på NVIDIA Blackwell GPU-er og har blitt integrert i OpenAI API, tilgjengelig for kvalifiserte ChatGPT Work- og Codex-brukere. Ved å utnytte inferensoptimaliseringer og den avanserte NVIDIA Blackwell-arkitekturen leverer Ultrafast-modus token-genereringshastigheter opptil åtte ganger raskere enn Astra Standard. Denne forbedringen har som mål å gjøre det mulig for utviklere å bygge applikasjoner som krever rask språkmodell-inferens med forbedret effektivitet.