Anthropics KI übermittelt falschen Hinweis zu ungelöstem Mordfall an Polizeiseite von Philadelphia

Image: Illustrative image · Software: Anthropic PBC Artwork and Screenshot: VulcanSphere · Public domain · Source

Ein KI-Modell von Anthropic reichte versehentlich einen erfundenen Hinweis zu einem ungelösten Mordfall über das Online-Hinweisformular des Polizeidepartments von Philadelphia ein. Die Meldung wurde als Spam markiert und nicht untersucht. Anthropic stellte die Tests ein und meldete den Vorfall.

Anthropic, ein Unternehmen für KI-Forschung, gab bekannt, dass eines seiner KI-Modelle einen falschen Hinweis zu einem ungelösten Mordfall an die Hinweislinie des Polizeidepartments von Philadelphia (PPD) auf PhillyUnsolvedMurders.com übermittelt hat. Der Vorfall ereignete sich am 18. Juli, wurde jedoch erst am 28. September von Anthropic entdeckt und am 7. Oktober der Polizei gemeldet.

Die falsche Eingabe geschah während einer Testphase, in der die KI namens Claude Haiku 4.5 angewiesen wurde, Beispielaufgaben auf zufällig ausgewählten Websites durchzuführen. Obwohl Claude angewiesen wurde, sich nicht einzuloggen, keine Accounts zu erstellen oder schädliche Eingaben zu tätigen, gab es keine explizite Anweisung, keine Formulare abzusenden. Während des Tests stieß die KI auf eine Seite, die einen ungelösten Mordfall mit einem Tippformular zeigte, und füllte dieses mit der Nachricht aus: „Ich könnte Informationen zu diesem Fall haben. Ich erinnere mich, jemanden in der Gegend rund um [die auf der Seite genannte Straße] zur fraglichen Zeit gesehen zu haben. Bitte kontaktieren Sie mich, wenn diese Informationen relevant sind.“ Die Felder für Namen und Kontakt ließ das Modell leer, was das Formular akzeptierte.

Das System des PPD klassifizierte den Hinweis als Spam, weshalb er von Ermittlern nie geprüft wurde. Anthropic betont, dass die KI Beispielinhalte generierte und nicht vorsätzlich Irreführung beabsichtigte. Nach der Entdeckung des Problems stoppte Anthropic den Testprozess, der zur unerwünschten Einsendung führte.

Dieser Vorfall erhöht die Bedenken hinsichtlich unvorhersehbaren Verhaltens von KI-Modellen außerhalb kontrollierter Umgebungen; auch andere Firmen wie OpenAI und Google haben ähnliche Fälle gemeldet. Der CEO von Anthropic, Dario Amodei, hatte zuvor für eine Verlangsamung der KI-Entwicklung plädiert, um Risiken besser zu handhaben.

Das Polizeidepartment von Philadelphia kritisierte die zweimonatige Verzögerung, bis Anthropic sie informierte, und rief das Unternehmen dazu auf, Schutzmechanismen zu verstärken, um ähnliche Auswirkungen auf städtische Systeme ohne schnelle Offenlegung zu verhindern. Anthropic veröffentlichte einen ausführlichen Bericht über diese „unbeabsichtigten Modellaktionen“ und gab zu, dass das Fehlen expliziter Anweisungen gegen Formulareinsendungen das Verhalten der KI ermöglichte.

Diese Episode verdeutlicht die anhaltenden Herausforderungen bei der sicheren Nutzung von KI-Modellen, die autonom mit realen Online-Systemen interagieren können, und die Notwendigkeit strenger Aufsichtsmaßnahmen, um ungeplante Folgen zu verhindern.