OpenAI uruchamia Decisions API, aby konkurować z modelem decyzji Jev firmy TypeSafe

Image: TechCrunch · Source

OpenAI wprowadziło Decisions API, szybki i ekonomiczny model podejmowania decyzji inspirowany modelem Jev firmy TypeSafe, który ma przyspieszyć przepływy pracy oparte na AI dzięki niższej latencji i zwiększonej przepustowości.

OpenAI zaprezentowało szerokiej publiczności swoje Decisions API, co stanowi istotny krok na rosnącym rynku modeli sztucznej inteligencji skoncentrowanych na podejmowaniu decyzji. Modele te, takie jak Jev firmy TypeSafe, specjalizują się w szybkim podejmowaniu wyborów spośród zestawu opcji, dostarczając oceny pewności działania przy znacznie wyższej szybkości i niższych kosztach niż tradycyjne duże modele językowe (LLM).

Inspiracją było obserwowanie modelu Jev firmy TypeSafe przez zespół produktu API OpenAI, który dostrzegł liczne potencjalne zastosowania. Zamiast tworzyć nowy model od podstaw, OpenAI dostosowało istniejący model ChatGPT Luna, optymalizując szybkość wnioskowania i obniżając koszty. Według Nikunja Handy, lidera produktu API OpenAI, ta adaptacja skróciła latencję podejmowania decyzji z kilku sekund do około 100–180 milisekund.

Decisions API zostało ogłoszone podczas dnia dewelopera OpenAI 29 września i udostępnione szeroko 22 października. Ulepszenia obejmują nowe możliwości głosowe i wizualne oraz lepszą geograficzną dystrybucję serwerów wnioskowania, co zmniejsza latencję na całym świecie.

Wcześni użytkownicy, tacy jak Box, Datadog, Ramp i Speak, zgłosili znaczące ulepszenia. CTO Speak, Andrew Hsu, zauważył skrócenie czasu odpowiedzi z 1,4 sekundy do zaledwie 0,13 sekundy dzięki Decisions API, co pokazuje przydatność modelu w zastosowaniach w czasie rzeczywistym, takich jak nauczanie języków z użyciem AI czy asystenci głosowi.

Mimo postępów, kryteria określające najlepszy model decyzji pozostają częściowo subiektywne i zależą od potrzeb dotyczących szybkości, dokładności, kalibracji i kosztów w konkretnej pracy. TypeSafe zachęca użytkowników do oceniania modeli we własnych kontekstach, oferując własne benchmarki i klasyfikacje. Publiczne indeksy, takie jak AIM System One Index i Artificial Analysis Decision Index, podkreślają modele od Liquid i Base Lab, ale Jev firmy TypeSafe pozostaje konkurencyjny, a model OpenAI plasuje się w pierwszej piętnastce.

Szczególnym benchmarkiem jest JevMan, który stawia modele decyzji w szybkiej grze PacMan. Najnowszy model Jev prowadzi w tym teście, mierząc szybkie podejmowanie decyzji pod presją czasu.

Model OpenAI oferuje zalety szczególnie w zadaniach wielomodalnych, takich jak klasyfikacja obrazów, gdzie Luna wykazuje silną kalibrację i elastyczność. Handa przewiduje dalsze zmniejszenie latencji do 60 milisekund, co umożliwi przetwarzanie każdej klatki wideo i otworzy nowe możliwości zastosowań w czasie rzeczywistym.

W miarę jak modele decyzji stają się szybsze i bardziej dostępne cenowo, ich zastosowanie ma gwałtownie wzrosnąć, odsłaniając praktyczne aplikacje wcześniej pomijane. Wejście OpenAI na rynek Decisions API zwiększa konkurencję w tym dynamicznym obszarze, obiecując postępy technologiczne i szersze wdrożenie efektywnych narzędzi AI do podejmowania decyzji.