Block presenta Dessa, un modelo de IA de voz dúplex completo con características humanas

Image: TechCrunch · Source

Block presenta Dessa, una IA de voz dúplex completo que imita el habla humana natural con matices emocionales y funciona localmente en hardware de consumo como el MacBook M4 Max.

Block, la empresa tecnológica cofundada por Jack Dorsey, ha presentado un nuevo modelo de voz llamado Dessa a través de su laboratorio de investigación. A diferencia de muchos modelos de voz existentes que convierten la voz en texto y pierden gran parte del matiz emocional, Dessa opera completamente sobre el habla, lo que le permite sonar sorprendentemente humana con expresiones auténticas como risas, pausas e incluso llantos. La empresa describe a Dessa como el modelo de habla dúplex completo más auténtico jamás construido, capaz de hablar y escuchar simultáneamente, similar al modelo GPT-Live de OpenAI.

El diseño de Dessa le permite transmitir emoción y cadencia natural durante las conversaciones, ya que el modelo se entrena totalmente con el habla humana utilizando una sola GPU NVIDIA. Esto contrasta con muchos sistemas actuales de IA de voz que dependen de intermediarios de texto y etiquetas de voz para inyectar emoción, lo que puede resultar en salidas artificiales o monótonas. Block afirma que la emoción está integrada inherentemente en la generación del habla de Dessa, aunque no ha aclarado si se utilizan mecanismos específicos de control emocional como etiquetas.

Los ejemplos compartidos por la compañía muestran al modelo expresando distintos estados emocionales; en una instancia, Dessa suena cansada al mencionar fatiga, y en otra expresa vulnerabilidad en respuesta a una muestra de consuelo humana. Estas interacciones destacan la capacidad del modelo para adaptar dinámicamente la cadencia, el tono y la profundidad emocional. Además, demostraciones de jugabilidad revelan las capacidades interactivas de Dessa en tiempo real, enfatizando su funcionalidad dúplex completa.

Cabe destacar que Dessa puede ejecutarse localmente en hardware de consumo como el MacBook M4 Max, lo que promete una accesibilidad más amplia sin dependencia de la computación en la nube. Esta operación local mejora la rapidez de respuesta, aumenta la privacidad y reduce costos operativos. Sin embargo, por el momento, Dessa no está disponible públicamente. Block está trabajando con investigadores en seguridad para evaluar a fondo el modelo, mostrando cautela especialmente frente a implicaciones éticas como el posible uso indebido para engañar a usuarios.

Aunque Block actualmente opera principalmente en finanzas y soluciones para pequeñas empresas — utilizando IA de voz para tareas como pedidos — poseer un modelo de voz sofisticado como Dessa podría ampliar significativamente sus servicios. La IA de voz en dispositivo podría potenciar nuevas aplicaciones comerciales y de consumo con interacciones más ricas y humanas a menor costo. A medida que Block continúa refinando Dessa y abordando la seguridad, su desarrollo marca un posible avance importante en la tecnología de IA de voz al integrar la expresividad humana natural directamente en la salida de voz de la IA.