NVIDIA:n GPU:t vauhdittavat OpenAI:n GPT-6 Astra Ultrafastia nopeampaan suorituskykyyn

Kuva: NVIDIA · Lähde

OpenAI:n GPT-6 Astra Ultrafast, jota kiihdyttävät NVIDIA Blackwell GPU:t, tuottaa tokeneita jopa kahdeksan kertaa nopeammin kuin sen normaali tila, ja se on nyt saatavilla OpenAI API:n kautta.

OpenAI:n GPT-6 Astra Ultrafast toimii NVIDIA Blackwell GPU:illa ja on integroitu OpenAI API:in, johon pääsevät käsiksi oikeutetut ChatGPT Work- ja Codex-käyttäjät. Hyödyntämällä päättelyoptimointeja ja edistynyttä NVIDIA Blackwell -arkkitehtuuria, Ultrafast-tila tarjoaa tokenien generointinopeuden, joka on jopa kahdeksan kertaa nopeampi kuin Astra Standard. Tämän parannuksen tarkoituksena on mahdollistaa kehittäjien rakentaa sovelluksia, jotka vaativat nopeaa kielimallin päättelyä parantuneella tehokkuudella.