OpenAI Lanza Decisions API para Competir con el Modelo de Decisión Jev de TypeSafe

Image: TechCrunch · Source

OpenAI ha lanzado su Decisions API, un modelo de toma de decisiones rápido y rentable inspirado en Jev de TypeSafe, con el objetivo de acelerar flujos de trabajo impulsados por IA con menor latencia y mayor capacidad de procesamiento.

OpenAI ha presentado su Decisions API al público en general, marcando un paso significativo en el creciente mercado de modelos de IA enfocados en la toma de decisiones. Estos modelos, ejemplificados por Jev de TypeSafe, se especializan en hacer elecciones rápidas entre un conjunto de opciones, proporcionando niveles de confianza mientras operan mucho más rápido y a menor costo que los modelos tradicionales de lenguaje grande (LLMs).

La inspiración surgió después de que el equipo de producto de la API de OpenAI observó Jev de TypeSafe e identificó numerosos casos de uso potenciales. En lugar de diseñar un nuevo modelo desde cero, OpenAI adaptó su modelo ChatGPT Luna existente, optimizando la velocidad de inferencia y reduciendo costos. De acuerdo con Nikunj Handa, líder de producto de API en OpenAI, esta adaptación ha reducido la latencia en la toma de decisiones de múltiples segundos a aproximadamente 100–180 milisegundos.

Anunciado en el día del desarrollador de OpenAI el 29 de septiembre, el Decisions API estuvo disponible en amplio acceso para el 22 de octubre. Las mejoras incluyen nuevas capacidades de voz y visuales, junto con una mejor distribución geográfica de servidores de inferencia para reducir la latencia a nivel global.

Adoptantes tempranos como Box, Datadog, Ramp y Speak han reportado mejoras sustanciales. El CTO de Speak, Andrew Hsu, destacó una disminución en el tiempo de respuesta de 1,4 segundos a solo 0,13 segundos mediante el uso del Decisions API, demostrando la idoneidad del modelo para aplicaciones en tiempo real como tutoría de idiomas con IA y asistentes de voz.

A pesar de los avances, los criterios que definen un modelo de decisión superior siguen siendo algo subjetivos, variando según las necesidades de la carga de trabajo en velocidad, precisión, calibración y costo. TypeSafe insta a los usuarios a evaluar modelos en sus propios contextos, ofreciendo sus propios puntos de referencia y clasificaciones junto con los lanzamientos. Mientras índices públicos como el AIM System One Index y el Artificial Analysis Decision Index destacan modelos de Liquid y Base Lab, Jev de TypeSafe se mantiene competitivo, y el modelo de OpenAI se ubica dentro de los quince mejores.

Un punto de referencia distintivo, JevMan, enfrenta a los modelos de decisión contra el juego rápido PacMan. El último modelo Jev lidera actualmente esta prueba, que mide la toma de decisiones rápidas y de alto riesgo bajo estrictas restricciones de tiempo.

El modelo de OpenAI ofrece ventajas particularmente en tareas multimodales como clasificación de imágenes, donde Luna demuestra fuerte calibración y flexibilidad. Handa prevé futuras reducciones de latencia hasta aproximadamente 60 milisegundos, permitiendo procesar cada fotograma en videos y desbloqueando nuevos casos de uso en tiempo real.

A medida que los modelos de decisión se vuelven más rápidos y asequibles, se espera que su adopción se expanda dramáticamente, revelando aplicaciones prácticas previamente ignoradas. La entrada de OpenAI con Decisions API intensifica la competencia en este campo dinámico, prometiendo avances tecnológicos y una adopción más amplia de herramientas eficientes de toma de decisiones impulsadas por IA.