Tenstorrent julkaisee MiniMax M3.1 Flash tekoälymallin pilvessä parannetulla tehokkuudella

Kuva: Tenstorrent · Lähde

Tenstorrent palvelee nyt MiniMax M3.1 Flash -mallia pilvialustallaan, tarjoten merkittäviä kustannussäästöjä ja vahvaa suorituskykyä agenttitehtävissä arkkitehtuurin innovaatioiden ja mallin kvantisoinnin ansiosta.

Tenstorrent ilmoitti ottaneensa käyttöön MiniMax M3.1 Flash tekoälymallin pilvialustallaan, suorittaen sekä esitäyttö- että dekoodausprosessit omassa Galaxy®-superklusteri-infrastruktuurissaan. MiniMax julkaisi mallin avoimet painot samanaikaisesti, mahdollistaen käyttäjien hyödyntää tätä edistynyttä tekoälyä monenlaisiin sovelluksiin.

MiniMax M3.1 Flash on suunniteltu tuotantotason agenttitehtäviin ja saavuttaa noin 70 % pienemmät käyttökustannukset edeltäjäänsä MiniMax M3:een verrattuna. Erityisesti sen syöttötokenien kustannus on laskenut 0,15 dollariin miljoonaa tokenia kohden ja lähtötokenien 0,60 dollariin, mikä on puolet aiemman mallin hinnasta. Välimuistissa olevien syöttötokenien kustannus on vieläkin alhaisempi, vain 0,015 dollaria miljoonaa tokenia kohden.

Suorituskykyvertailuissa MiniMax M3.1 Flash on kaikkien MiniMaxin sisäisten mallien edellä AutomationBench- ja LOCA-Bench 256K -testeissä, ja se vastaa Claude Opus 5 -mallia BankerToolBenchissä. Tästä mallista julkaistu varhainen versio, nimeltään "Space Bunny Alpha", osoitti jo skaalaantuvuutta käsittelemällä yli 200 biljoonaa tokenia.

Mallin tehokkuuden ydin koostuu arkkitehtonisista parannuksista ja kvantisointitekniikoista. Perinteinen globaali ryhmitelty kyselyhuomio (grouped-query attention) korvattiin harvalla huomiointimallilla (sparse attention), joka rajoittaa kutakin tokenia lukemaan vain osan kontekstista. Tiheät monikerroksiset perceptronit (MLP) säilytettiin vain kolmessa ensimmäisessä kerroksessa, vähentäen laskennallista kuormitusta ja muistiliikennettä erityisesti pitkille kontekstisyötteille.

Lisäksi MiniMax käytti aggressiivista kvantisointia: MLP-painot, huomiointipainot, indeksoija ja jaetut asiantuntijakomponentit kvantisoitiin MXFP8-tarkkuudelle, kun taas reititetyt asiantuntijapainot käyttävät NVFP4-muotoa. Tämä lähestymistapa mahdollistaa mallin kykyjen ylläpidon tai jopa lievän parantamisen verrattuna kvantisoimattomaan M3-malliin.

Tenstorrent palvelee MiniMax M3.1 Flash -mallia superklusterissa, joka koostuu useista Blackhole Galaxy -järjestelmistä. Nämä ovat erikoistuneita ja jaettu esitäyttö- ja dekoodausfunktioihin, optimoiden kumpaakin työkuormansa mukaan. Esitäyttö hoitaa saapuvat agenttikyselyt monen sirun yli korkealla laitevälisellä kaistanleveydellä, kun taas dekoodausjärjestelmät generoivat lähtötokeneita itsenäisesti varmistaen reagointikyvyn pitkien esitäyttötoimintojen aikana. Sirujen välinen viestintä tapahtuu matalaviiveisten Ethernet-yhteyksien kautta, ja tiedot kuten painot sekä avain-arvo-välimuisti säilytetään laitteessa DRAM- ja SRAM-muistissa nopeuden turvaamiseksi.

Merkittävä ominaisuus on avain-arvo-välimuistin siirto, joka tallentaa uudelleenkäytettäviä kontekstistatuksia suuriin DRAM- ja SSD-pooliin (1 TB DRAM ja useita teratavuja SSD:tä per järjestelmä), mikä minimoi tarpeettomat laskennat toistuvissa agenttikommunikaatioissa.

Tenstorrentin hienosäätö hyödyntää SemiAnalysisin AgentX-koodausagenttiseurantoja, jotka perustuvat todellisiin monivaiheisiin istuntoihin ja subagenttikäyttäytymiseen sen sijaan, että luotettaisiin lyhyisiin keskustelutesteihin.

MiniMax M3.1 Flash -malli on tällä hetkellä saatavilla Tenstorrentin pilvikonsolissa, mahdollistaen kehittäjille kokeilun Playground-ympäristössä tai suoran integraation agenttikehyksiin.

Tämä käyttöönotto havainnollistaa edistyksellisen mallisuunnittelun, laitteisto-optimoinnin ja pilvi-infrastruktuurin synergian, kohdentuen käytännöllisiin tekoälyagenttisovelluksiin, joissa kustannukset ovat pienemmät mutta suorituskyky vahva.