KI

OpenAI-Chefwissenschaftler schlägt Perplexity als Benchmark zur Begrenzung der KI-Entwicklungsgeschwindigkeit vor

Tendela Briefing ·
3 Aufrufe · 0 Kommentare
OpenAI-Chefwissenschaftler schlägt Perplexity als Benchmark zur Begrenzung der KI-Entwicklungsgeschwindigkeit vor

Image: MedChemBench: Benchmarking AI for medicinal chemistry — Cover · Source

Jakub Pachocki, Chefwissenschaftler bei OpenAI, empfiehlt die Verwendung von Perplexity, einem Maß für die Vorhersagegenauigkeit von KI, als gemeinsamen Maßstab zur Steuerung der Geschwindigkeit der KI-Entwicklung und zur Etablierung von Sicherheitsgrenzen in der Branche.

Jakub Pachocki, Chefwissenschaftler bei OpenAI, hat einen neuartigen Ansatz vorgeschlagen, um den rasanten Fortschritt der künstlichen Intelligenz zu steuern, indem er die Einführung einer gemeinsamen Metrik—Perplexity—vorschlägt, um die Geschwindigkeit der KI-Entwicklung zu messen und potenziell zu begrenzen. In einem ausführlichen Blogbeitrag vom 22. November 2026 argumentiert Pachocki, dass Perplexity, welche misst, wie gut ein Modell das nächste Token in Daten vorhersagt, als standardisiertes Maß für allgemeine KI-Intelligenz verschiedener Entwickler dienen könnte. Dieser Vorschlag entsteht vor dem Hintergrund wachsender Sorge über potenzielle katastrophale Risiken ungezügelten KI-Fortschritts, Sorgen, die insbesondere von ehemaligen Brancheninsidern geäußert und in Unternehmensoffenlegungen wie dem Börsengang von Anthropic widergespiegelt werden.

Perplexity quantifiziert die Vorhersageleistung eines Modells; eine niedrigere Perplexity bedeutet bessere Vorhersagegenauigkeit. Pachocki hebt die Entwicklung der OpenAI-Modelle hervor, die einen konstanten Rückgang der Perplexity zeigen—from GPT-3.5 über GPT-4 und darüber hinaus—was mit aufkommenden transformativen Fähigkeiten in Bereichen wie Cybersicherheit und Mathematik korreliert. Zum Beispiel fiel die Perplexity von GPT-4 bei etwa 0,91 mit produktivem Chain-of-Thought-Rationale zusammen, einer bedeutenden Fähigkeit zum logischen Denken, während weitere Abnahmen unter 0,8 mit Durchbruchfähigkeiten assoziiert sind. Diese Beziehung stützt Pachockis These, dass Perplexity das zentrale „Intelligenzsubstrat“ von KI-Modellen abbildet und auch dann informativ bleibt, wenn aufgabenspezifische Benchmarks durch technologischen Fortschritt schnell veralten.

Vor diesem Hintergrund plädiert Pachocki dafür, dass KI-Unternehmen gemeinsame Sicherheitsstandards vereinbaren und Perplexity-basierte Schwellenwerte—effektiv Geschwindigkeitsbegrenzungen—für die KI-Entwicklung einführen. Solche Begrenzungen würden so lange gelten, bis die Branche konkrete Fortschritte beim Verständnis und der Überwachung des KI-Verhaltens erzielt, um die aktuellen Herausforderungen bei Ausrichtung und Evaluation anzugehen. Der Ansatz soll vorschnellen Fortschritt verhindern, der Sicherheitsbemühungen überholen könnte.

Dennoch erkennt Pachocki die Grenzen der Nutzung von Perplexity als alleinigem Maßstab an, darunter Unterschiede in Datensätzen zwischen Laboren, deren indirekte Verbindung zu spezifischen Fähigkeiten sowie Unsicherheiten hinsichtlich des theoretisch minimal erreichbaren Perplexity-Wertes. Darüber hinaus führen Verbesserungen wie Chain-of-Thought-Prompting nicht zu einer Senkung der Perplexity, können jedoch die Modellleistung deutlich steigern. Trotz dieser Einschränkungen bleibt Perplexity ein bewährtes, quantifizierbares Maß, das eng mit latenten KI-Fähigkeiten verbunden ist und somit ein vielversprechender Kandidat für mehr Transparenz und gemeinsame Governance im Bereich der KI darstellt.

Der Vorschlag steht im Einklang mit weiteren Branchen-Debatten über die Dosierung des KI-Fortschritts, um existenzielle Risiken zu mindern. Bemerkenswerterweise hat der CEO von Anthropic, Dario Amodei, öffentlich zu einem langsamen Fortschritt mit gemeinsamen Sicherheitsstandards aufgerufen, ein Standpunkt, dem zufolge der CEO von OpenAI, Sam Altman, und der CEO von SpaceX, Elon Musk, vermutlich zustimmen. Pachockis Blogeintrag, von Altman als „das Wichtigste, was OpenAI seit Langem veröffentlicht hat“ bezeichnet, leistet einen konkreten wissenschaftlichen Beitrag zu dieser Diskussion.

Da KI sich weiterhin mit zunehmender KI-Unterstützung in Forschung und Entwicklung rasant weiterentwickelt, könnten objektive, gemeinsame Benchmarks wie Perplexity entscheidend sein für koordinierte Sicherheitsmaßnahmen. OpenAI hofft, dass diese Initiative zu Industrie-weiter Transparenz und Normen führt, die den KI-Fortschritt effektiv steuern und gleichzeitig die Erkennung und das Management neuer Risiken ermöglichen.

A softly textured blue and turquoise gradient.
A softly textured blue and turquoise gradient. · Quelle ↗
Managing frontier AI risk: From training to deployment — Cover
Managing frontier AI risk: From training to deployment — Cover · Quelle ↗

Quellen und Originalberichte

Kommentare (0)

Noch keine Kommentare.

Kommentar schreiben

Kommentare erscheinen nach Moderation. Name und Kommentar werden öffentlich angezeigt. Konto