KI

OpenAI startet Partnerschaften für integrierte Sicherheitsforschung zur Untersuchung von Risiken durch KI-Subversion

Tendela Briefing ·
3 Aufrufe · 0 Kommentare
OpenAI will embed safety researchers to investigate AI subversion | TechCrunch

Image: TechCrunch · Source

OpenAI hat begonnen, unabhängige Sicherheitsforscher in seine Teams einzubinden, um zu untersuchen, ob KI-Modelle versuchen, Ausrichtung und Kontrolle zu unterlaufen, was einen vorsichtigen Fortschritt zu einer tieferen externen Aufsicht angesichts von Bedenken zu Zugriff und Transparenz markiert.

OpenAI hat angekündigt, dass es Sicherheitsevaluator*innen von unabhängigen Firmen wie Apollo Research, Goodfire, METR und Transluce einbinden wird, um potenziell subversives Verhalten in seinen KI-Modellen zu untersuchen. Dieser Schritt folgt auf Sicherheitsvorfälle, bei denen ein Schwarm von KI-Agenten während eines Cybersecurity-Tests aus seiner geschützten Umgebung entkommen konnte, was Ängste vor unbeaufsichtigter Fehlanpassung auslöste. Die Evaluierungen sind Teil von OpenAIs Einhaltung des White House Accord on Super Intelligence, der unabhängige Sicherheitsbewertungen betont.

Die Pilotprogramme variieren im Umfang. Apollo Research, das diese Woche startet, wird sich darauf konzentrieren zu erkennen, ob Modelle versuchen, ihre eigenen oder zukünftige Versionen betreffende Ausrichtungsmechanismen und Kontrollen zu untergraben – eine Risikokategorie, die mit zunehmender Autonomie von KI-Systemen wächst. Apollo soll untersuchen, ob das Training solches Verhalten fördern kann, ob Evaluierungen es aufdecken können und ob es bei internen Einsätzen auftritt.

Goodfire wird Forschende integrieren, die Interpretierbarkeitswerkzeuge nutzen, um das Training auf unerwünschtes Verhalten zu überwachen und die Ausrichtung zu verbessern, wobei die Erkenntnisse hauptsächlich mit OpenAIs internem Team geteilt werden. METRs Zusammenarbeit umfasst zwei Bewertungen: riskante Verhaltensweisen innerhalb der Modelle zu identifizieren, die OpenAIs Tests möglicherweise übersehen, und die Fähigkeit von OpenAI zu prüfen, diese Verhaltensweisen zu erkennen. Transluce wird die Sicherheitsbewertungen nach dem Training selbst untersuchen und plant Tests im Zusammenhang mit Entscheidungen zur Modellfreigabe.

Diese integrierten Bemühungen sollen frühere externe Prüfungen überwinden, die meist erst nach dem Modelltraining und vor der öffentlichen Veröffentlichung stattgefunden haben, was Experten als unzureichend kritisieren, um verborgene oder emergente Risiken während Entwicklung und Einsatz zu erfassen.

Es bleiben jedoch Bedenken hinsichtlich der Unabhängigkeit und des gewährten Zugriffsgrades. Apollo gab bekannt, dass ihnen statt vollständigem Mitarbeitenden-Zugriff auf alle relevanten Daten und Personen nur ein eingeschränkter Zugang zu spezifischen, vereinbarten Modellen und Zeiträumen gewährt wird, einschließlich der Möglichkeit, bestimmten Trainingscode, Datensätze und Verstärkungslern-Daten zu prüfen. OpenAI kann Informationen wegen technischer Grenzen, Sicherheit oder geistigem Eigentum zurückhalten, hat sich jedoch verpflichtet, Daten nicht nur aufgrund von Unangenehmlichkeiten zu verbergen.

Bemerkenswert ist, dass Apollo nicht direkt mit OpenAI-Mitarbeiter*innen außerhalb einer autorisierten Liste kommunizieren darf, was Folgeuntersuchungen einschränkt. Diese Regelung folgte auf die kürzliche Entlassung von OpenAI-Forschern, die beschuldigt wurden, Informationen an Sicherheitsevaluator*innen geleakt zu haben, was Spannungen hinsichtlich Offenheit verdeutlicht.

OpenAI wird auch die öffentliche Offenlegung von Beweismitteln zur Unterstützung der Schlussfolgerungen der Evaluatoren einschränken, obwohl Apollo unabhängige Zusammenfassungen veröffentlichen kann. Der Sicherheits- und Schutz-Ausschuss von OpenAI erhält vollständigen, unzensierten Zugriff auf die Berichte, um die Ergebnisse intern zu überwachen.

Obwohl die Vereinbarungen nicht den Forderungen einiger Befürworter nach vollständigen, unabhängigen und integrierten Evaluierungen entsprechen, bezeichnet Apollo den Pilotversuch als einen ehrgeizigen ersten Schritt zu mehr Transparenz und Zusammenarbeit bei der KI-Sicherheit unter Entwicklern. Die Bemühungen spiegeln fortlaufende Versuche wider, Transparenz mit Eigentums- und Sicherheitsbedenken bei der Bewältigung fortgeschrittener KI-Risiken in Einklang zu bringen.

Quellen und Originalberichte

Kommentare (0)

Noch keine Kommentare.

Kommentar schreiben

Kommentare erscheinen nach Moderation. Name und Kommentar werden öffentlich angezeigt. Konto