Tenstorrent palaid MiniMax M3.1 Flash mākoņā ar uzlabotu efektivitāti

Attēls: Tenstorrent · Avots

Tenstorrent tagad piedāvā MiniMax M3.1 Flash modeli savā mākoņplatformā, nodrošinot ievērojamas izmaksu samazināšanas un spēcīgu veiktspēju aģenta uzdevumos, pateicoties arhitektūras inovācijām un modeļa kvantizācijai.

Tenstorrent paziņoja, ka ir izvietojis MiniMax M3.1 Flash AI modeli savā mākoņplatformā, izmantojot gan iepriekšējo sagatavošanu (prefill), gan dekodēšanas procesus uz sava patentētā Galaxy® superklastera infrastruktūras. MiniMax vienlaikus publiskoja modeļa atvērtos svarus, ļaujot lietotājiem izmantot šo progresīvo mākslīgo intelektu dažādās lietojumprogrammās.

MiniMax M3.1 Flash ir izstrādāts ražošanas līmeņa aģentu uzdevumiem, sasniedzot apmēram 70% zemākas ekspluatācijas izmaksas salīdzinājumā ar priekšgājēju MiniMax M3. Īpaši tas samazina izmaksas uz miljonu ieejas tokenu līdz 0,15 USD un izejas tokenu līdz 0,60 USD, kas ir puse no iepriekšējā modeļa cenas. Kešatmiņā saglabāto ieejas tokenu izmaksas ir vēl zemākas — tikai 0,015 USD uz miljonu tokenu.

Veiktspējas testos MiniMax M3.1 Flash pārspēj visus MiniMax iekšējos modeļus gan AutomationBench, gan LOCA-Bench 256K testos, un tas ir līdzvērtīgs Claude Opus 5 BankerToolBench testā. Šī modeļa agrīnās versijas — "Space Bunny Alpha" — jau demonstrēja mērogojamību, apstrādājot vairāk nekā 200 triljonus tokenu.

Moda efektivitātes atslēga ir arhitektūras uzlabojumi un kvantizācijas tehnikas. Tradicionālo globālo grupēto pieprasījumu uzmanības mehānismu aizvietoja retinātā uzmanība, kas ierobežo katra tokena lasīšanu līdz konteksta daļai. Blīvos daudzslāņu perceptronus (MLP) saglabā tikai pirmajos trijos slāņos, samazinot aprēķinu un atmiņas trafiku, īpaši garu kontekstu gadījumā.

Papildus MiniMax ieviesa agresīvu kvantizāciju: MLP svarus, uzmanības svarus, indeksētāju un kopīgos ekspertu komponentus kvantizēja MXFP8 precizitātē, kamēr maršrutētie eksperta svari izmanto NVFP4. Šī pieeja ļauj saglabāt vai nedaudz uzlabot modeļa spējas, salīdzinot ar nekvantizēto M3.

Tenstorrent nodrošina MiniMax M3.1 Flash superklastrā, kas sastāv no vairākiem Blackhole Galaxy sistēmu mezgliem. Tie ir specializēti un sadalīti prefilla un dekodēšanas funkcijās, optimizējot katru tā darba slodzei. Prefill apstrādā ienākošos aģentu vaicājumus daudzos mikroshēmu blokos ar augstu iekārtu savstarpējo joslas platumu, kamēr dekodesistēmas ģenerē izejas tokenus neatkarīgi, nodrošinot atsaucību garas prefilla darbības laikā. Mikroshēmu savstarpējā komunikācija notiek ar zemu latentumu Ethernet kanālos, un dati, piemēram, svarus un atslēgas-vērtības kešatmiņa, tiek glabāti ierīcē DRAM un SRAM ātruma nodrošināšanai.

Nozīmīga funkcija ir atslēgas-vērtības kešatmiņas nomaiņa, kas glabā atkārtoti izmantotos kontekstuālos stāvokļus lielās DRAM un SSD krātuvēs (1 TB DRAM un vairāki terabaiti SSD katrā sistēmā), samazinot lieku aprēķinu atkārtotās aģentu mijiedarbībās.

Tenstorrent optimizēšanu balsta SemiAnalysis AgentX kodēšanas aģentu pēdas, kas iegūtas no reālām daudzpakāpju sesijām un subaģentu uzvedības, nevis tikai īsiem sarunu testiem.

Pašlaik MiniMax M3.1 Flash modeli var piekļūt caur Tenstorrent mākoņa konsoli, ļaujot izstrādātājiem izmēģināt to savā Playground vidē vai tieši integrēt ar aģentu ietvariem.

Šī izvietošana ilustrē sinerģiju starp progresīvu modeļa dizainu, aparatūras optimizāciju un mākoņu infrastruktūru, mērķējot uz praktisku AI aģentu pielietojumu ar samazinātām izmaksām un lielisku veiktspēju.