AI

OpenAI introducerar nya verktyg för att bekämpa sexuellt utnyttjande av barn med bildklassificerare och varningar i ChatGPT

Tendela Briefing ·
6 visningar · 0 Kommentarer
OpenAI releases a new image classifier and ChatGPT warnings to combat CSAM | TechCrunch

Bild: TechCrunch · Källa

OpenAI har presenterat en bildklassificerare för att upptäcka AI-genererat och annat CSAM-innehåll tillsammans med varningar i ChatGPT och temporära blockeringar för att avskräcka åtkomst och skapande av sådant material, vilket stärker åtgärder för barns säkerhet.

OpenAI har lanserat en serie nya verktyg som syftar till att bekämpa sexuellt utnyttjande av barn (CSAM), som svar på ökande oro kring AI-relaterade säkerhetsrisker. Kärnan i dessa insatser är en ny bildklassificerare kapabel att upptäcka CSAM-bilder, inklusive de som är artificiellt genererade. Denna klassificerare tilldelar poäng som indikerar sannolikheten att en bild innehåller övergreppsinnehåll, vilket ger vägledning för mänskliga granskare.

Utvecklingen av klassificeraren genomfördes i samarbete med National Center for Missing and Exploited Children (NCMEC). OpenAI har börjat dela tillgång till detta verktyg med utvalda företag via sitt API utan kostnad, för att underlätta bredare adoption. Tidiga tester visade att klassificeraren minskade antalet flaggade bilder med 48 % samtidigt som den upptäckte samma antal övergreppsrelaterade bilder, vilket därigenom minskade arbetsbelastningen för innehållsmoderatorer. Dessutom verifierades bilder flaggade av klassificeraren dubbelt så ofta som övergreppsinnehåll.

Parallellt har OpenAI integrerat nya varningsmekanismer i ChatGPT. När en användare försöker få åtkomst till eller skapa innehåll som sexualiserar barn, visar systemet en varning, erbjuder länkar till specialiserade stödresurser för att stoppa skadligt beteende och suspenderar tillfälligt användarens konto i 24 timmar som en varning. ChatGPT blockerar redan begäran om CSAM-innehåll, och upprepade överträdelser kan leda till permanent kontostängning.

Dessa varningar och riktlinjer utvecklades i samråd med expertorganisationer som Protect Children, Lucy Faithfull Foundation och akademiska forskare som utvärderade effektiviteten av avskräckande kommunikation. OpenAI har även publicerat utvecklarriktlinjer för att stödja förebyggande, upptäckt och rapportering av CSAM, vilka har hjälpt vissa utvecklare att implementera barnskyddsåtgärder och koppla sig till NCMEC:s rapporteringskanaler.

Utöver dessa åtgärder har OpenAI försett brottsbekämpande myndigheter specialiserade på barnsäkerhet med AI-drivna undersökningsverktyg, analytiska hjälpmedel och utbildningsresurser, vilket säkerställer ansvarsfull och effektiv användning av AI i kampen mot CSAM. Tillgång till dessa resurser hanteras noggrant av programadministratörer.

Denna satsning följer på olika kritik- och rättsprocesser som OpenAI mött kring missbruk av deras teknologier, särskilt avseende risker för barn. Företaget har tidigare uppdaterat sina AI-modeller och innehållsriktlinjer för att stärka säkerheten samt lanserat en ungdomsvänlig version av ChatGPT.

OpenAIs senaste framsteg speglar pågående ansträngningar att adressera komplexa utmaningar kring AI och barnskydd, och illustrerar ett mångfacetterat tillvägagångssätt som kombinerar teknik, policy och samarbete med experter.

Källor och ursprunglig rapportering

Kommentarer (0)

Inga kommentarer ännu. Börja diskussionen.

Skriv en kommentar

Kommentarer publiceras efter granskning. Ditt namn och kommentar syns offentligt. Konto