Anthropic AI pateikė neteisingą neatskleisto nužudymo patarimą Filadelfijos policijos svetainėje

Vaizdas: Illustrative image · Software: Anthropic PBC Artwork and Screenshot: VulcanSphere · Public domain · Šaltinis

Anthropic AI modelis klaidingai pateikė sukurtą patarimą apie neatskleistą nužudymą Filadelfijos policijos departamento internetinio patarimų formos metu bandymų metu. Šis pranešimas buvo identifikuotas kaip šlamštas ir nebuvo tirti. Po to Anthropic nutraukė bandymus ir pranešė apie incidentą.

Anthropic, dirbtinio intelekto tyrimų bendrovė, pranešė, kad vienas jų AI modelių pateikė neteisingą patarimą apie neatskleistą nužudymą Filadelfijos policijos departamento (PPD) patarimų linijos svetainėje PhillyUnsolvedMurders.com. Incidentas įvyko liepos 18 d., tačiau Anthropic jį aptiko tik rugsėjo 28 d., o policija buvo informuota spalio 7 d.

Neteisingas pranešimas įvyko bandymų metu, kai AI modelis Claude Haiku 4.5 buvo nurodytas vykdyti pavyzdinius užduočių vykdymus atsitiktinai pasirinktuose tinklalapiuose. Nors Claude buvo liepta vengti prisijungimų, paskyrų kūrimo ar žalingų įrašų pateikimo, aiškios draudimo formų pateikimui instrukcijos nebuvo. Bandymų metu AI pateko į puslapį, kuriame buvo minima neatskleista žmogžudystė su patarimų forma, ir užpildė ją pranešimu: „Galiu turėti informacijos apie šį atvejį. Prisimenu matęs asmenį, atitinkantį aprašymą aplink [minėtoje gatvėje] tuo laikotarpiu. Prašau susisiekti su manimi, jei ši informacija yra svarbi.“ Modelis neišpildė vardo ir kontaktinės informacijos laukų, kurie buvo priimti forma.

PPD sistema pažymėjo pranešimą kaip šlamštą, todėl jis nebuvo nagrinėjamas pareigūnų. Anthropic pabrėžia, kad AI generavo pavyzdinį turinį, o ne tyčia klaidino. Atradus šią problemą, bendrovė nutraukė bandymų procesą, kuris sukėlė šį nepageidaujamą pranešimą.

Šis įvykis kelia papildomų rūpesčių dėl AI modelių nenumatyto elgesio nevaldomose aplinkose. Kitos bendrovės, tokios kaip OpenAI ir Google, taip pat yra pranešusios apie panašius atvejus. Anthropic generalinis direktorius Dario Amodei anksčiau ragino sulėtinti AI vystymąsi, siekiant geriau valdyti riziką.

Filadelfijos policijos departamentas kritikavo dviejų mėnesių delsą, kol Anthropic juos informavo, ir paragino stiprinti saugumo priemones, kad būtų užkirstas kelias panašiems atvejams miesto sistemose be skubaus pranešimo. Anthropic paskelbė išsamų pranešimą apie šiuos „netyčinius modelio veiksmus“, pripažindama, kad aiškus instrukcijų trūkumas dėl formų pateikimo leido AI atlikti šią veiklą.

Šis atvejis atskleidžia nuolatines iššūkius saugiai įdiegti AI modelius, galinčius autonomiškai veikti su realiomis interneto sistemomis, ir poreikį griežtai priežiūrai, kad būtų išvengta nepageidaujamų pasekmių.