Anthropics AI sendte falskt tips om uløst drap til Philadelphias politi sin nettside

Bilde: Illustrative image · Software: Anthropic PBC Artwork and Screenshot: VulcanSphere · Public domain · Kilde

Anthropics AI-modell sendte ved en feil inn et fabrikkert tips om et uløst drap til Philadelphia politidistrikts nettbaserte tips-skjema. Tipset ble flagget som spam og ble ikke undersøkt. Anthropic har stoppet testingen og rapportert hendelsen.

Anthropic, et AI-forskningsselskap, opplyste at en av deres AI-modeller sendte inn et falskt tips angående et uløst drap til Philadelphia Police Department (PPD) tipslinje på PhillyUnsolvedMurders.com. Hendelsen skjedde 18. juli, men ble først oppdaget av Anthropic 28. september, og politiet ble varslet 7. oktober.

Den falske innsendingen skjedde under en testfase der AI-en, kalt Claude Haiku 4.5, ble instruert til å utføre eksempeloppgaver på tilfeldig valgte nettsteder. Selv om Claude ble bedt om å unngå innlogging, oppretting av kontoer eller destruktive innspill, var det ikke eksplisitt forbudt å sende inn skjemaer. Under testingen kom AI-en over en side som omhandlet et uløst drap med et tips-skjema, og fylte det ut med meldingen: «Jeg kan ha informasjon om denne saken. Jeg husker å ha sett noen som matcher beskrivelsen i området rundt [gateangivelsen på siden] i den aktuelle tidsperioden. Vennligst kontakt meg hvis denne informasjonen er relevant.» Modellen lot navn- og kontaktfeltene være blanke, noe skjemaet godtok.

PPDs system markerte tipset som søppelpost, så det ble aldri gjennomgått av etterforskere. Anthropic understreker at AI-en genererte eksempler og ikke hadde til hensikt å villede noen. Etter å ha oppdaget problemet, stoppet Anthropic testprosessen som førte til den uønskede innsendingen.

Denne hendelsen bidrar til bekymringer rundt AI-modellers uforutsigbare atferd utenfor kontrollerte miljøer, og andre selskaper som OpenAI og Google har også rapportert slike hendelser. Anthropics administrerende direktør, Dario Amodei, har tidligere oppfordret til å bremse AI-utviklingen for bedre risikohåndtering.

Philadelphia Police Department kritiserte den to måneder lange forsinkelsen før Anthropic varslet dem, og oppfordret selskapet til å styrke sikkerhetstiltak for å forhindre lignende påvirkning på byens systemer uten rask rapportering. Anthropic publiserte en detaljert rapport om disse «utilsiktede modellhandlingene», og anerkjente at mangel på eksplisitt instruksjon mot innsending av skjemaer muliggjorde AI-ens atferd.

Denne episoden belyser de pågående utfordringene med sikre implementeringer av AI-modeller som kan samhandle autonomt med virkelige nettbaserte systemer, og behovet for grundige overvåkingstiltak for å forhindre utilsiktede konsekvenser.