Tenstorrent käivitab MiniMax M3.1 Flash AI mudeli pilves suurema efektiivsusega

Pilt: Tenstorrent · Allikas

Tenstorrent pakub nüüd MiniMax M3.1 Flash mudelit oma pilveplatvormil, mis toob kaasa märkimisväärsed kulude vähendused ja tugeva jõudluse agentuuritöös tänu arhitektuurilistele uuendustele ja mudeli kvantimisel.

Tenstorrent teatas, et on juurutanud MiniMax M3.1 Flash AI mudeli oma pilveplatvormil, käivitades nii eeltäite kui ka dekodeerimisprotsessid oma patenteeritud Galaxy® superklastri infrastruktuuril. MiniMax avalikustas samaaegselt mudeli avatud kaalud, võimaldades kasutajatel seda arenenud tehisintellekti mitmel otstarbel kasutada.

MiniMax M3.1 Flash on loodud tootmismahuliste agenttööde jaoks ning saavutab ligikaudu 70% madalamad tegevuskulud võrreldes eelkäijaga MiniMax M3. Eriti vähendab see ühe miljoni sisendtokeni maksumuse 0,15 dollarini ja väljundtokeni maksumuse 0,60 dollarini, mis on poole madalam hind võrreldes varasema mudeliga. Vahemällu salvestatud sisendtokenite kulu on isegi madalam, 0,015 dollarit miljoni tokeni kohta.

Jõudlusmõõdikute alusel on MiniMax M3.1 Flash MiniMax sisemistes võrdlustes AutomationBench ja LOCA-Bench 256K platvormidel kõigi mudelite ees ning on BankerToolBench võrdne Claude Opus 5 mudeliga. Selle mudeli varajane versioon nimega „Space Bunny Alpha“ on juba demonstreerinud skaleeritavust, töötledes üle 200 triljoni tokeni.

Mudeli efektiivsuse aluseks on arhitektuurilised täiustused ja kvantimistehnikad. Traditsiooniline ülemaailmne grupeeritud päringu tähelepanu mehhanism asendati spetsiifilise tähelepanuga, mis piirab iga tokeni võimaluse lugeda vaid osa kontekstist. Tihedad mitmekihilised perseptronid (MLP-d) jäävad alles vaid esimeses kolmes kihis, mis vähendab arvutuskoormust ja mäluliiklust, eriti pikki kontekste käsitledes.

Lisaks kasutati agressiivset kvantimist: MLP kaalud, tähelepanu kaalud, indekseerija ja jagatud eksperdid kvantiti MXFP8 täpsusega, samal ajal kui marsruuditud ekspertide kaalud töötavad NVFP4 täpsusega. See lähenemine võimaldab säilitada või veidi parandada mudeli võimekust võrreldes kvantimata M3 mudeliga.

Tenstorrent pakub MiniMax M3.1 Flash mudelit superklastris, mis koosneb mitmest Blackhole Galaxy süsteemist. Need on spetsialiseeritud ja jagatud eel- ning dekodeerimisfunktsioonideks, optimeerides igaüht vastavalt töökoormusele. Eeltäide käitab sissetulevaid agentuuripäringuid paljudes kiipides kõrge seadmetevahelise läbilaskevõimega, samal ajal kui dekodeerimisüsteemid genereerivad väljund-ühekesi, tagades reageerimisvõime pikkade eeltäidetega töötamise ajal. Kiipide vahel suhtlemiseks kasutatakse madala latentsusega Etherneti ühendusi ning andmeid nagu kaalud ja võtme-väärtuse vahemälud hoitakse kiibisiseses DRAM-is ja SRAM-is kiiruse tagamiseks.

Tähtis omadus on võtme-väärtuse vahemälu koormuse vähendamine, mis salvestab korduvkasutatavaid kontekstuaalseid olekuid suurtes DRAM-i ja SSD-poolides (1 TB DRAM ja mitu terabaiti SSD iga süsteemi kohta), minimeerides vajadust üleliigse arvutustöö järele korduvate agentuuri interaktsioonide korral.

Tenstorrenti häälestus kasutab SemiAnalysisi AgentX kodeerimisagendi jälgi, mis põhinevad reaalsel mitmekäigulisel sessioonidel ja subagendi käitumisel, mitte pelgalt lühikestel vestlusmõõdikutel.

MiniMax M3.1 Flash mudelit on hetkel võimalik kasutada Tenstorrenti pilverakenduse kaudu, võimaldades arendajatel katsetada oma Playground keskkonnas või integreerida otse agentuuriraamistikega.

See juurutus on näide sünergiast arenenud mudelidisaini, riistvaralise optimeerimise ja pilveinfrastruktuuri vahel, sihtides praktilisi tehisintellekti agenttööde rakendusi madalamate kulude ja kõrge jõudlusega.