Forskare avslöjar ny AI-attackmetod som enkelt kringgår OpenAI och Googles bildfilter för att generera explicit innehåll

Bild: Ars Technica · Källa

Forskare från White Circle har upptäckt en ny attackteknik som kringgår säkerhetsfilter i OpenAI:s och Googles senaste AI-bildmodeller, vilket möjliggör generering av explicit innehåll utan avancerad AI-expertis.

Säkerhetsforskare från White Circle, ett offentlig nytta-företag stödd av AI-branschexperter, har avslöjat betydande sårbarheter i innehållsfiltreringen hos OpenAI:s och Googles senaste AI-modeller för text-till-bild. Deras forskning visar att en ny och överraskande enkel attackmetod kan kringgå befintliga skydd och generera explicit bildmaterial ungefär 13 % av gångerna utan att kräva skräddarsydda AI-modeller eller teknisk expertis.

De modeller som testats inkluderar OpenAI:s GPT-Image-2 och ChatGPT Images 2.5, samt Googles DALL·E 3 och Nano Banana 2 och dess uppdaterade Nano Banana 2.1. White Circles metod, kallad "Red-teaming via Iterative Strategy Evolution" (RISE), använder allmänt tillgängliga AI-modeller för att generera och verifiera jailbreak-promptar som pålitligt producerar förbjudet innehåll. Denna teknik avslöjar hur nuvarande försvar, som framställs som robusta av ledande AI-labb, är svagare än vad som offentligt erkänns.

White Circles VD Denis Shilov uttryckte att deras resultat är "skräckinjagande" med tanke på det ökade offentliga granskningen av AI-säkerhet. Han antar att försämringen i filtreringseffektivitet kan bero på att man prioriterar modellens kapacitet framför säkerhet. Trots att dessa resultat delats via vissa interna branschkanaler har varken OpenAI eller Google svarat på direkta frågor om de nyligen identifierade sårbarheterna.

Konsekvenserna är betydande, särskilt med tanke på den ökande förekomsten av AI-genererade bilder med icke-samtyckta intima motiv och material som rör barnsexuella övergrepp (CSAM). Den brittiska Internet Watch Foundation rapporterade en oroande ökning av fotorealistiskt AI-genererat CSAM i början av 2026. Samtidigt visade Googles egen studie att många användare som experimenterar med AI-genererade nakenbilder gör det på ett oansvarigt sätt, vilket understryker vikten av starka skyddsnivåer i modellen.

White Circle förespråkar obligatoriska oberoende tredjepartsgranskningar av AI-modellers säkerhet och hävdar att nuvarande självbedömningar från AI-labb är otillräckliga. De planerar att öppet göra hela sin attackpipeline tillgänglig för att hjälpa utvecklare att bättre förstå och hantera dessa risker. Forskare föreslår även att metoder som RISE skulle kunna utvidgas för att upptäcka och förebygga andra skadliga AI-utdata, såsom våldsamma bilder.

Dock kvarstår motstånd inom branschen, där vissa företag föredrar restriktiva sekretessavtal som begränsar offentlig insyn i säkerhetstester. White Circle motsätter sig sådana begränsningar och betonar att offentlig delning av kritiska fynd är avgörande för att förbättra AI-säkerhetsstandarder.

När AI-modeller blir mer sofistikerade blir omfattande extern utvärdering och förbättrade säkerhetsinvesteringar alltmer avgörande för att förhindra missbruk och spridning av skadligt syntetiskt innehåll. White Circles arbete lyser upp det akuta behovet av starkare, oberoende verifierade skydd i det snabbt utvecklande AI-landskapet.