OpenAI lanserer Decisions API for å konkurrere med TypeSafes Jev beslutningsmodell

Bilde: TechCrunch · Kilde

OpenAI har lansert Decisions API, en rask og kostnadseffektiv beslutningsmodell inspirert av TypeSafes Jev, med mål om å akselerere AI-drevne arbeidsflyter med lavere latens og økt gjennomstrømning.

OpenAI har introdusert sitt Decisions API til et bredere publikum, noe som markerer et viktig steg inn i det voksende markedet for AI-modeller fokusert på beslutningstaking. Disse modellene, med TypeSafes Jev som eksempel, spesialiserer seg på å ta raske valg fra et sett med alternativer, gi tillitsvurderinger samtidig som de opererer mye raskere og billigere enn tradisjonelle store språkmodeller (LLMs).

Inspirasjonen kom etter at OpenAIs API-produktteam observerte TypeSafes Jev og identifiserte mange potensielle bruksområder. I stedet for å designe en ny modell fra bunnen av, tilpasset OpenAI deres eksisterende ChatGPT Luna-modell, optimaliserte inferenshastighet og reduserte kostnader. Ifølge Nikunj Handa, OpenAIs API-produktleder, har denne tilpasningen redusert beslutningslatens fra flere sekunder til omtrent 100–180 millisekunder.

Dette ble annonsert på OpenAIs utviklerdag den 29. september, og Decisions API ble bredt tilgjengelig innen 22. oktober. Forbedringer inkluderer nye stemme- og visuelle kapasiteter, samt bedre geografisk distribusjon av inferensservere for å redusere latens globalt.

Tidlige brukere som Box, Datadog, Ramp og Speak har rapportert betydelige forbedringer. Speaks CTO, Andrew Hsu, noterte en reduksjon i responstid fra 1,4 sekunder til bare 0,13 sekunder ved å bruke Decisions API, noe som demonstrerer modellens egnethet for sanntidsapplikasjoner som AI-språklæring og stemmeassistenter.

Til tross for framgang er kriteriene som definerer en overlegen beslutningsmodell fortsatt noe subjektive, og varierer med arbeidsbelastningens behov for hastighet, nøyaktighet, kalibrering og kostnad. TypeSafe oppfordrer brukere til å evaluere modeller i sine egne kontekster, og tilbyr egne benchmarks og rangeringer sammen med utgivelser. Mens offentlige indekser som AIM System One Index og Artificial Analysis Decision Index fremhever modeller fra Liquid og Base Lab, forblir TypeSafes Jev konkurransedyktig, og OpenAIs modell rangeres blant de femten beste.

En særpreget benchmark, JevMan, utfordrer beslutningsmodeller mot det raske spillet PacMan. Den nyeste Jev-modellen leder nå denne testen som måler rask beslutningstaking med høye innsats under stramme tidsbegrensninger.

OpenAIs modell tilbyr fordeler spesielt for multimodale oppgaver som bildeklassifisering, hvor Luna viser god kalibrering og fleksibilitet. Handa ser for seg framtidige reduksjoner i latens til så lavt som 60 millisekunder, noe som muliggjør prosessering av hvert enkelt videobilde og åpner for nye sanntidsbrukstilfeller.

Etter hvert som beslutningsmodeller blir raskere og mer kostnadseffektive, forventes det at bruken vil øke kraftig, og avsløre praktiske anvendelser som tidligere ble oversett. OpenAIs inntreden med Decisions API intensiverer konkurransen i dette dynamiske feltet, og lover teknologiske fremskritt og bredere adopsjon av effektive AI-drevne beslutningsverktøy.