Kohaliku tehisintellekti uurimine M5 Ultra Mac Studio seadmel: paljutõotav, kuid keeruline

Pilt: Illustrative image · Aleeexfernandez · Public domain · Allikas

Tehnoloogiakirjanik jagab esimesi kogemusi suuremahuliste kohalike tehisintellektimudelite käitamisel võimsal riistvaral nagu Apple'i M5 Ultra Mac Studio, tuues esile privaatsuse eeliseid ja praktilisi kasutusvõimalusi ning samal ajal ka kasutusmugavuse ja töökindluse väljakutseid.

Kuna tehisintellekti tööriistad muutuvad järjest enam igapäevaste ülesannete lahendamisel integreerituks, on paljud kasutajad endiselt ettevaatlikud pilvepõhiste AI-teenuste kasutamisel privaatsusprobleemide tõttu. Hiljutine The Verge'i esitatud esmase kogemuse lugu kirjeldab suuremahuliste kohalike AI-mudelite käitamist tipptasemel riistvaral — nimelt Apple'i M5 Ultra Mac Studio'l, millel on 256 GB ühtset mälu. See seadistus võimaldab täielikult võrguühenduseta kasutada võimsaid mudeleid, nagu 125 miljardi parameetriga Qwen 3.8 Flash Next.

Autor katsetas Hermes Agent'i, avatud lähtekoodiga AI-agendi lauaarvuti rakendust, mis töötab macOS-is, Windowsis ja Linuxis ning toetab AI-mudelite kohaliku käivitamise võimalust ilma pidevate kulude või andmete pilvele avaldamiseta. Kuigi algne seadistamine ja mudeli valik tundus ulatuslike ja erinevate suurustega mudelite tõttu ülekaalukas, suutis autor kiiresti alustada Hermesi kasutamist Qweniga praktilistel ülesannetel.

Esialgsed rakendused hõlmasid igapäevase hommikuse ülevaate koostamist, mis kogus e-kirjad, kalendriüksused ja ilmauuendused. Kuigi selle lihtsa funktsiooni jaoks tuli kohandada macOS-i toitesätteid, et vältida unerežiimi planeeritud jooksu ajal, näitas see isikupärastatud automatiseerimise potentsiaali. Veelgi muljetavaldavam oli AI kasutamine isikliku Steam'i mängukogu üle 400 pealkirjaga korraldamiseks žanri ja kasutaja määratud kategooriate järgi — AI-l anti Steam'i veebirakenduse kaudu vajalikud õigused ning pärast ülesande täitmist tühistati ligipääs turvalisuse tagamiseks.

AI aitas ka finantsandmete analüüsimisel ning sülearvuti spetsifikatsioonide võrdlustabeli koostamisel, ülesannetes, kus autor eelistas kohaliku töötlemise võimalust, et vältida tundlike või embargo all olevate andmete pilve üleslaadimist. Toimub ka töö keerukamate rutiinide automatiseerimiseks, näiteks sülearvuti võrdlustestide läbiviimiseks Hermesi skriptimise juhiste abil, kuigi see on alles pooleli.

Vaatamata entusiasmile ei ole kohalikud AI mudelid ja agendi süsteemid veel sujuvad assistendid. Esinevad tõrked ülesannete täitmises, nagu näiteks hommikuse ülevaate genereerimise ebaõnnestumine, mis rõhutab tehnoloogia algusjärku. Autor suhtub neisse AI-tööriistadesse pragmaatiliselt, käsitledes neid pigem spetsialiseeritud tarkvaraliste utiliitidena kui isiklikena kaaslastena, keskendudes kontrollitud käsupõhistele interaktsioonidele.

See uurimus toob esile nii kohaliku AI kasutamise lubadused kui ka praegused piirangud kõrgtehnoloogilisel riistvaral. See pakub teadmisi praktiliste rakenduste kohta, mis tasakaalustavad võimeid privaatsuse ja kontrolliga ning tunnistab õppimiskõverat ja mõningast ebastabiilsust praegustes kohaliku AI keskkondades. Kui riistvara ja tarkvara arenevad, võivad sellised seadistused muutuda elujõuliseks alternatiiviks või täienduseks pilvepõhistele AI lahendustele, eriti kasutajatele, kes eelistavad andmete turvalisust ja võrguühenduseta funktsionaalsust.