Mākslīgais intelekts

Tenstorrent Galaxy sasniedz 5 300 tokenu sekundē dekodēšanas ātrumu OpenAI gpt-oss-120b modelī

Tendela Briefing ·
0 skatījumi · 0 Komentāri
Tenstorrent Galaxy sasniedz 5 300 tokenu sekundē dekodēšanas ātrumu OpenAI gpt-oss-120b modelī

Attēls: Tenstorrent · Avots

Tenstorrent Galaxy sistēma darbina OpenAI gpt-oss-120b līdz pat 5 300 tokeniem sekundē uz lietotāju astoņu savienotu Galaxy klasteru režīmā, izmantojot ekspertu kombinācijas arhitektūru un efektīvu aparatūru.

Tenstorrent ir demonstrējis nozares līdera veiktspēju, darbinot OpenAI atvērtā svara valodas modeli gpt-oss-120b, sasniedzot dekodēšanas ātrumu līdz 5 300 tokeniem sekundē uz lietotāju astoņu Galaxy sistēmu klastrā. Šis rezultāts nozīmē būtisku progresu efektīvā lielu modeļu inferencē reaģējošām mākslīgā intelekta aplikācijām.

Gpt-oss-120b modelis izmanto eksperta kombinācijas (Mixture-of-Experts, MoE) arhitektūru, kur katrs tokens tiek apstrādāts caur četriem no 128 ekspertu komponentiem, nevis aktivizējot visu modeli vienlaikus. Šī selektīvā aktivācija ļauj modelim izmantot aptuveni 5,1 miljardu no tā 117 miljardiem parametriem katram tokenam, palielinot aprēķinu efektivitāti nepazeminot precizitāti.

Tenstorrent Galaxy sistēma integrē 32 Blackhole mikroshēmas kompakta 6U servera iekārtā, aprīkota ar 6,2 GB augstas joslas platuma SRAM uz mikroshēmas un 1 TB GDDR6 DRAM. Arhitektūra prioritē datu izvietošanu tuvu aprēķinu vienībām, lai samazinātu latentumu, izmantojot SRAM kritisko ekspertu svaru glabāšanai un pārējo straumēšanai no DRAM. Galaxy sistēmas savienojas izmantojot standarta Ethernet, nodrošinot elastīgu skalēšanu no viena servera līdz daudzām mašīnām klastrā.

Ievietošanas arhitektūra dala katru modeļa slāni 4×4 režģī ar 16 Blackhole mikroshēmām. Sistēma atkārtoti izmanto cauruļvadu posmus — kamēr viens posms apstrādā pašreizējo slāni, nākamā slāņa svari tiek ielādēti SRAM — maksimāli izmantojot aparatūras resursus. Mikroshēmas pārraida aktivācijas starp posmiem caur tiešām, zemas latentuma Ethernet saitēm, kas atspoguļo fiziskās kabeļu savienojumus, nodrošinot efektīvu sadalīto skaitļošanu vairākās mašīnās.

Pārbaudēs ar GSM8K datu kopu, kurā ir apmēram 8 500 pamatskolas matemātikas vārdproblemātikas uzdevumu, kas prasa pakāpenisku risināšanu, Galaxy vidēji sasniedza 3 000 tokenus sekundē uz lietotāju ar precizitāti 95,8%. Maksimālie ātrumi sasniedza 5 300 tokenus sekundē uz lietotāju, koncentrējoties uz dekodēšanas operācijām ar īsiem uzstādījumiem, neiekļaujot pirmā tokena ģenerēšanas latentumu.

Šī demonstrācija izceļ Tenstorrent spēju nodrošināt ātru, precīzu un mērogojamu inferenci lieliem MoE modeļiem atvērtā aparatūrā. Organizācijas, kas plāno izvietojumus ar zemu latentumu AI inferencē, var novērtēt Galaxy spējas līdzsvarot veiktspēju, mērogojamību un izmaksas. Galaxy modulārais raksturs atbalsta pakāpenisku paplašināšanos no vienas vienības līdz plašam daudzmezglu klastrim.

Tenstorrent turpina inovācijas efektīvu AI paātrinātāju dizainā, uzsverot optimizētu datu pārvietošanu un atmiņas kapacitātes un aprēķinu tuvuma līdzsvaru. Interesenti var sazināties ar Tenstorrent papildu informācijām vai izpētīt Galaxy sava AI inferces infrastruktūras nodrošinājuma vajadzībām.

BackAnnouncementsGalaxy reaches industry-leading 5,300 t/s/u decode speed on gpt-oss-120bOpenAI's gpt-oss-120b running at up to 5,300 tokens/sec/user on eight Tenstorrent Galaxy systems. Across the full GSM8K dataset it averages 3,000 tokens/sec/user
BackAnnouncementsGalaxy reaches industry-leading 5,300 t/s/u decode speed on gpt-oss-120bOpenAI's gpt-oss-120b running at up to 5,300 tokens/sec/user on eight Tenstorrent Galaxy systems. Across the full GSM8K dataset it averages 3,000 tokens/sec/user · Avots ↗
The model and the hardware it runs ongpt-oss-120b is an open-weight language model from OpenAI. It uses a Mixture-of-Experts (MoE) architecture, routing each token through just 4 of its 128 experts rather than activating the entire model. This allows
The model and the hardware it runs ongpt-oss-120b is an open-weight language model from OpenAI. It uses a Mixture-of-Experts (MoE) architecture, routing each token through just 4 of its 128 experts rather than activating the entire model. This allows · Avots ↗
Galaxy reaches industry-leading 5,300 t/s/u decode speed on gpt-oss-120b
Galaxy reaches industry-leading 5,300 t/s/u decode speed on gpt-oss-120b · Avots ↗
Galaxy reaches industry-leading 5,300 t/s/u decode speed on gpt-oss-120b
Galaxy reaches industry-leading 5,300 t/s/u decode speed on gpt-oss-120b · Avots ↗
Galaxy reaches industry-leading 5,300 t/s/u decode speed on gpt-oss-120b
Galaxy reaches industry-leading 5,300 t/s/u decode speed on gpt-oss-120b · Avots ↗

Avoti un oriģinālziņas

Komentāri (0)

Komentāru vēl nav. Sāciet diskusiju.

Rakstīt komentāru

Komentāri tiek publicēti pēc moderēšanas. Jūsu vārds un komentārs būs redzami publiski. Konts