OpenAI lanserar Decisions API för att konkurrera med TypeSafes Jev-beslutsmodell

Bild: TechCrunch · Källa

OpenAI har släppt Decisions API, en snabb och kostnadseffektiv beslutsmodell inspirerad av TypeSafes Jev, med målet att påskynda AI-drivna arbetsflöden med lägre latens och ökad genomströmning.

OpenAI har introducerat sitt Decisions API för allmänheten, vilket markerar ett betydande steg in på den växande marknaden för AI-modeller fokuserade på beslutsfattande. Dessa modeller, exemplifierade av TypeSafes Jev, specialiserar sig på att snabbt välja mellan olika alternativ och ger samtidigt förtroendemätningar medan de arbetar mycket snabbare och billigare än traditionella stora språkmodeller (LLM).

Inspirationen kom efter att OpenAIs API-produktteam observerade TypeSafes Jev och identifierade flera potentiella användningsområden. Istället för att ta fram en ny modell från grunden anpassade OpenAI deras befintliga ChatGPT Luna-modell, optimerade inferenshastigheten och sänkte kostnaderna. Enligt Nikunj Handa, produktansvarig för OpenAIs API, har denna anpassning minskat fördröjningen i beslutsfattandet från flera sekunder till ungefär 100–180 millisekunder.

Beskedet gavs under OpenAIs utvecklardag den 29 september och Decisions API blev allmänt tillgängligt den 22 oktober. Förbättringar inkluderar nya röst- och visuella funktioner samt förbättrad geografisk distribution av inferensservrar för att minska latensen globalt.

Tidiga användare såsom Box, Datadog, Ramp och Speak har rapporterat betydande förbättringar. Speaks CTO, Andrew Hsu, noterar en minskning i svarstid från 1,4 sekunder till bara 0,13 sekunder tack vare Decisions API och visar modellens lämplighet för realtidsapplikationer som AI-språkutbildning och röstassistenter.

Trots framstegen kvarstår subjektiviteten i kriterierna för vad som definierar en överlägsen beslutsmodell, vilken varierar beroende på arbetsbelastningens krav på hastighet, precision, kalibrering och kostnad. TypeSafe uppmanar användare att utvärdera modeller i sina egna sammanhang och erbjuder egna benchmarks och rankningar vid publiceringar. Medan offentliga index som AIM System One Index och Artificial Analysis Decision Index lyfter fram modeller från Liquid och Base Lab kvarstår TypeSafes Jev som konkurrenskraftig, och OpenAIs modell rankas inom topp femton.

En utmärkande benchmark, JevMan, utsätter beslutsmodeller för det snabba spelet PacMan. Den senaste Jev-modellen leder för närvarande detta test som mäter snabb och högst risktagande beslutsfattning under snäva tidsramar.

OpenAIs modell erbjuder särskilt fördelar i multimodala uppgifter som bildklassificering, där Luna visar stark kalibrering och flexibilitet. Handa ser framför sig framtida minskningar i latens till så lågt som 60 millisekunder, vilket möjliggör behandling av varje bildruta i videor och öppnar nya realtidsanvändningar.

När beslutsmodeller blir snabbare och mer prisvärda förväntas deras användning öka dramatiskt, vilket avslöjar praktiska tillämpningar som tidigare förbises. OpenAIs Decisions API förstärker konkurrensen inom detta dynamiska område och lovar tekniska framsteg samt bredare användning av effektiva AI-drivna beslutsverktyg.