Tyrėjai atskleidžia naują dirbtinio intelekto atakos metodą, lengvai apeinantį OpenAI ir Google vaizdų filtrus ir generuojantį netinkamą turinį

Vaizdas: Ars Technica · Šaltinis

White Circle tyrėjai aptiko naują atakos metodą, kuris apeina OpenAI ir Google naujausių DI vaizdų modelių saugumo filtrus, leidžiantį generuoti netinkamą turinį be pažangių DI žinių.

Baltosios Apskrities saugumo tyrėjai, dirbantys viešojo intereso labui ir palaikomi DI pramonės ekspertų, atskleidė reikšmingas spragas OpenAI ir Google naujausiuose tekstą į vaizdą generuojančiuose DI modeliuose. Jų tyrimas parodė, kad naujas ir stebėtinai paprastas atakos būdas gali apeiti esamas apsaugos priemones, maždaug 13% atvejų generuodamas netinkamus vaizdus, nereikalaujant individualizuotų DI modelių ar techninių žinių.

Išbandyti modeliai apima OpenAI GPT-Image-2 ir ChatGPT Images 2.5, taip pat Google DALL·E 3, Nano Banana 2 ir naujesnį Nano Banana 2.1. White Circle metodas, vadinamas „Red-teaming per Iteratyvią Strategijos Evoliuciją“ (RISE), naudoja plačiai prieinamus DI modelius generuoti ir tikrinti atakos komandinius tekstus, kurie patikimai sukuria uždraustą turinį. Ši technika atskleidžia, kad dabartinės saugumo priemonės, kurias giria pagrindinės DI laboratorijos, yra silpnesnės nei viešai teigiama.

White Circle generalinis direktorius Denis Shilov teigė, kad jų išvados yra „baisios“, atsižvelgiant į didėjančią viešąją priežiūrą DI saugumo srityje. Jis spėja, kad filtravimo efektyvumo blogėjimas gali būti susijęs su modelio galimybių teikimu pirmenybės prieš saugumą. Nepaisant rezultatų paskelbimo kai kuriose vidaus pramonės platformose, nei OpenAI, nei Google neatsakė į tiesioginius užklausimus dėl naujai identifikuotų spragų.

Šie rezultatai yra reikšmingi, ypač atsižvelgiant į didėjantį DI sukurtų nepritartų intymių vaizdų ir vaikų seksualinio išnaudojimo medžiagos plitimą. JK veikianti Internet Watch Foundation pranešė apie nerimą keliančią fotorealistinės DI generuotos vaikų seksualinio išnaudojimo medžiagos augimą 2026 m. pradžioje. Tuo tarpu Google atliktas tyrimas nustatė, kad daugelis naudotojų, eksperimentuojančių su DI generuotais nuogais vaizdais, tai daro atsainiai, pabrėžiant stiprių modelio apsaugos priemonių svarbą.

White Circle ragina prievolinį nepriklausomų trečiųjų šalių saugumo auditą DI modeliams, teigdama, kad esamos savęs vertinimo praktikos DI laboratorijose yra nepakankamos. Jie planuoja atvirai paskelbti visą savo atakos procesą, kad padėtų kūrėjams geriau suprasti ir spręsti šias rizikas. Tyrėjai taip pat siūlo, kad tokios metodikos kaip RISE galėtų būti išplėstos aptikti ir užkirsti kelią kitiems kenksmingiems DI išvesties pavyzdžiams, kaip smurto vaizdams.

Vis dėlto pramonėje išlieka pasipriešinimas, kai kurios įmonės renkasi griežtas konfidencialumo sutartis, ribojančias viešą skaidrumą saugumo testų srityje. White Circle priešinasi tokiems apribojimams, pabrėždama, kad kritinių išvadų viešas skelbimas yra būtinas DI saugumo standartų gerinimui.

Augant DI modelių sudėtingumui, išsami išorinė peržiūra ir patobulinta investicija į saugumą tampa vis svarbesnės, siekiant užkirsti kelią piktnaudžiavimui ir kenksmingo sintetinio turinio plitimui. White Circle darbas atkreipia dėmesį į skubią stipresnių, nepriklausomai patvirtintų apsaugos priemonių poreikį sparčiai kintančiame DI pasaulyje.