OpenAI запускает Decisions API для конкуренции с моделью решений Jev от TypeSafe

Image: TechCrunch · Source

OpenAI выпустила Decisions API — быстрый и экономичный модель принятия решений, вдохновлённую Jev от TypeSafe, с целью ускорить AI-ориентированные рабочие процессы с низкой задержкой и высокой пропускной способностью.

OpenAI представила более широкой публике свой Decisions API, что является важным шагом на быстрорастущем рынке моделей искусственного интеллекта, ориентированных на принятие решений. Такие модели, примером которых является Jev от TypeSafe, специализируются на быстром выборе среди множества опций, предоставляя оценки уверенности при работе значительно быстрее и дешевле традиционных больших языковых моделей (LLM).

Идея возникла после того, как команда продукта API OpenAI изучила модель Jev от TypeSafe и выявила множество потенциальных случаев применения. Вместо создания новой модели с нуля OpenAI адаптировала существующую модель ChatGPT Luna, оптимизировав скорость вывода и снизив затраты. По словам Никунджа Ханды, руководителя продукта API OpenAI, эта адаптация сократила задержку принятия решений со нескольких секунд примерно до 100–180 миллисекунд.

Decisions API был анонсирован на дне разработчика OpenAI 29 сентября и стал широко доступен к 22 октября. Улучшения включают новые голосовые и визуальные возможности, а также улучшенное географическое распределение серверов вывода для снижения задержки по всему миру.

Ранние пользователи, такие как Box, Datadog, Ramp и Speak, отметили значительные улучшения. Технический директор Speak, Эндрю Хсу, сообщил о снижении времени отклика с 1,4 секунды до всего 0,13 секунды, используя Decisions API, показывая пригодность модели для приложений в режиме реального времени, таких как обучение языкам с помощью AI и голосовые ассистенты.

Несмотря на достижения, критерии определения лучшей модели решений остаются частично субъективными и зависят от требований к скорости, точности, калибровке и стоимости для конкретных рабочих задач. TypeSafe рекомендует пользователям оценивать модели в собственных условиях, предлагая собственные бенчмарки и рейтинги. Публичные индексы, такие как AIM System One Index и Artificial Analysis Decision Index, выделяют модели от Liquid и Base Lab, однако Jev от TypeSafe остаётся конкурентоспособной, а модель OpenAI входит в топ-15.

Особенный бенчмарк JevMan предлагает моделям решений соревноваться в динамичной игре PacMan. Последняя модель Jev лидирует в этом тесте, который измеряет быстрое принятие решений в условиях высокого давления времени.

Модель OpenAI имеет преимущества особенно в мультимодальных задачах, таких как классификация изображений, где Luna демонстрирует хорошую калибровку и гибкость. Ханда прогнозирует дальнейшее сокращение задержки до 60 миллисекунд, что позволит обрабатывать каждый кадр видео и откроет новые возможности для приложений в реальном времени.

По мере того как модели решений становятся быстрее и доступнее по цене, их использование ожидается значительно расширится, выявляя практические применения, ранее не замеченные. Вход OpenAI на рынок Decisions API усиливает конкуренцию в этой динамичной области, обещая технологический прогресс и более широкое принятие эффективных инструментов AI для принятия решений.