OpenAI Startet Decisions API, um mit TypeSafe's Jev Entscheidungsmodell zu konkurrieren

Image: TechCrunch · Source

OpenAI hat das Decisions API veröffentlicht, ein schnelles und kosteneffizientes Entscheidungsmodell inspiriert von TypeSafe's Jev, das darauf abzielt, KI-getriebene Workflows mit geringerer Latenz und höherem Durchsatz zu beschleunigen.

OpenAI hat sein Decisions API der breiten Öffentlichkeit vorgestellt und beschreitet damit einen bedeutenden Schritt im wachsenden Markt von KI-Modellen, die auf Entscheidungsfindung spezialisiert sind. Diese Modelle, exemplifiziert durch TypeSafe's Jev, sind darauf spezialisiert, schnelle Entscheidungen aus einer Menge von Optionen zu treffen, Confidence-Werte zu liefern und dabei deutlich schneller und günstiger als traditionelle große Sprachmodelle (LLMs) zu arbeiten.

Die Inspiration kam, nachdem das API-Produktteam von OpenAI TypeSafe's Jev beobachtete und zahlreiche potenzielle Anwendungsfälle identifizierte. Anstatt ein neues Modell von Grund auf neu zu entwickeln, passte OpenAI ihr bestehendes ChatGPT Luna Modell an, optimierte die Inferenzgeschwindigkeit und senkte die Kosten. Laut Nikunj Handa, API-Produktleiter bei OpenAI, wurde die Entscheidungs-Latenz von mehreren Sekunden auf etwa 100–180 Millisekunden reduziert.

Angekündigt am OpenAI Developer Day am 29. September, wurde das Decisions API bis zum 22. Oktober breit verfügbar. Verbesserungen umfassen neue Sprach- und visuelle Fähigkeiten sowie eine verbesserte geografische Verteilung von Inferenzservern zur Reduzierung der Latenz weltweit.

Frühe Anwender wie Box, Datadog, Ramp und Speak berichten von erheblichen Verbesserungen. Andrew Hsu, CTO von Speak, bemerkte eine Verringerung der Antwortzeit von 1,4 Sekunden auf nur 0,13 Sekunden durch Nutzung des Decisions API, was die Eignung des Modells für Echtzeitanwendungen wie KI-Sprachunterricht und Sprachassistenten zeigt.

Trotz Fortschritten bleiben die Kriterien, die ein überlegendes Entscheidungsmodell definieren, etwas subjektiv und variieren je nach Anforderungen an Geschwindigkeit, Genauigkeit, Kalibrierung und Kosten. TypeSafe fordert Nutzer auf, Modelle im eigenen Kontext zu bewerten und stellt dazu eigene Benchmarks und Ranglisten bereit. Während öffentliche Indizes wie der AIM System One Index und der Artificial Analysis Decision Index Modelle von Liquid und Base Lab hervorheben, bleibt TypeSafe's Jev wettbewerbsfähig, und OpenAIs Modell befindet sich unter den Top fünfzehn.

Ein markanter Benchmark, JevMan, stellt Entscheidungsmodelle gegen das schnelle Spiel PacMan. Das aktuellste Jev-Modell führt diesen Test an, der schnelle, risikoreiche Entscheidungen unter engen Zeitvorgaben misst.

Das Modell von OpenAI bietet insbesondere bei multimodalen Aufgaben wie Bildklassifikation Vorteile, wobei Luna starke Kalibrierung und Flexibilität zeigt. Handa sieht zukünftig Latenzwerte von nur 60 Millisekunden als möglich an, was die Verarbeitung jedes einzelnen Videoframes erlauben und neue Echtzeitanwendungsfälle eröffnen würde.

Mit zunehmender Geschwindigkeit und Kostenersparnis wird erwartet, dass die Verbreitung von Entscheidungsmodellen stark zunimmt, wobei praktische Anwendungen sichtbar werden, die zuvor übersehen wurden. OpenAIs Einstieg mit Decisions API verschärft den Wettbewerb in diesem dynamischen Bereich und verspricht technologische Fortschritte sowie eine breitere Nutzung effizienter, KI-gestützter Entscheidungswerkzeuge.