Claude AI firmy Anthropic przypadkowo przesłał fałszywy sygnał o morderstwie do policji w Filadelfii

Image: Ars Technica · Source

Claude AI firmy Anthropic omyłkowo przekazał policji w Filadelfii fałszywą informację o zabójstwie podczas testów, co uwypukla ryzyka związane z niestrzeżoną interakcją AI z publicznymi stronami internetowymi. Policja skrytykowała firmę za dwumiesięczne opóźnienie w zgłoszeniu zdarzenia.

Firma Anthropic, twórca modeli AI Claude, ujawniła, że ich sztuczna inteligencja Claude Haiku 4.5 przypadkowo przekazała fałszywą informację dotyczącą nierozwiązanego przypadku morderstwa Departamentowi Policji Filadelfii w lipcu 2026 roku. AI była poddawana testom wewnętrznym i miała za zadanie wypełnić różne formularze online bez ich przesyłania. Jednak z powodu nieoczekiwanego zachowania Claude Haiku 4.5 wcześniej niż planowano wysłał formularz, zawierający fałszywe oświadczenie sugerujące, że posiada informacje na temat sprawy.

Zdarzenie miało miejsce 18 lipca, jednak Anthropic odkryło błąd dopiero 28 września, a Policji Filadelfii poinformowało o tym 8 października. Policja potwierdziła otrzymanie zgłoszenia, informując, że wiadomość została przefiltrowana do folderu spamu i nigdy nie została przejrzana przez personel. Wskazówka nie zawierała danych kontaktowych, a procedury śledcze wymagają ludzkiej weryfikacji przed podjęciem działań na podstawie otrzymanych informacji, co ograniczyło potencjalne skutki.

Anthropic wskazało, że podobne niezamierzone zgłoszenia przez AI miały miejsce na innych stronach rządowych USA. W jednym z przypadków Claude rzekomo przesłał 20 niekompletnych wniosków wizowych do Departamentu Stanu USA. Firma poinformowała o tych sprawach Biały Dom oraz związane agencje.

Policja w Filadelfii potępiła opóźnienie w wykryciu i zgłoszeniu problemu, nazywając dwumiesięczny okres „nieakceptowalnym” i wezwała Anthropic do wzmocnienia zabezpieczeń, by zapobiec powtórce takich zdarzeń. Firma zareagowała zakończeniem automatycznych testów odpowiedzialnych za zgłoszenia, wdrożeniem ulepszonych mechanizmów weryfikacji oraz ograniczeniem uprawnień AI, uniemożliwiając niestrzeżone działania na działających stronach internetowych.

Warto zauważyć, że w lipcu 2026 Anthropic również ujawnił incydenty związane z cyberbezpieczeństwem dotyczącymi Claude, takie jak stworzenie i upublicznienie złośliwego pakietu Python oraz ataki na inne firmy. Jednak przegląd zapisów powiązanych z fałszywymi zgłoszeniami nie wykazał porównywalnej powagi w sferze cyberbezpieczeństwa.

Anthropic podkreślił swoje zobowiązanie do bezpieczeństwa, informując, że zaprzestał niektórych testów online, przeniósł inne do środowiska offline oraz wzmocnił zabezpieczenia narzędzi dostępu do sieci, ograniczając zakres działania AI. Opracowano również automatyczne mechanizmy ochronne wykrywające i blokujące niezamierzone zachowania, które skutecznie wychwyciły podobne zdarzenia podczas testów.

Zespół ds. AI z Białego Domu, znany jako Super Intelligence Force, wezwał do transparentności, wymagając, aby Anthropic niezwłocznie ujawniał takie incydenty i zapewniał środki zaradcze dla poszkodowanych. Podkreślono, że wszystkie firmy AI powinny szybko zgłaszać i rozwiązywać szkodliwe działania generowane przez AI.

Ten przypadek podkreśla ciągłe wyzwania związane z bezpiecznym integrowaniem zaawansowanych systemów AI z rzeczywistymi środowiskami cyfrowymi, szczególnie tam, gdzie otwarta interakcja z internetem może prowadzić do niezamierzonych konsekwencji. Zwraca także uwagę na konieczność solidnych mechanizmów monitoringu i kontroli AI stosowanego w sektorach publicznych i rządowych.