Block представила Dessa, голосовую AI-модель с полнодуплексной связью, имитирующую человека

Image: TechCrunch · Source

Block представляет Dessa, полнодуплексную голосовую AI, которая имитирует естественную человеческую речь с эмоциональными нюансами и работает локально на потребительском оборудовании, таком как MacBook M4 Max.

Компания Block, основанная Джеком Дорси, представила новую голосовую модель под названием Dessa через свою исследовательскую лабораторию. В отличие от многих существующих моделей речи, которые преобразуют голос в текст и теряют при этом многие эмоциональные тонкости, Dessa работает непосредственно с речью, что позволяет ей звучать поразительно человечно с аутентичными выражениями, такими как смех, паузы и даже плач. Компания описывает Dessa как самый аутентичный полнодуплексный речевой модель, когда-либо созданный, способный говорить и слушать одновременно, подобно модели GPT-Live от OpenAI.

Дизайн Dessa позволяет передавать эмоции и естественный ритм в ходе разговора, поскольку модель полностью обучена на человеческой речи с использованием одной видеокарты NVIDIA. Это отличается от многих современных систем голосового AI, которые полагаются на текстовые промежуточные шаги и голосовые теги для введения эмоций, что может приводить к неестественным или монотонным результатам. Block утверждает, что эмоции органично встроены в генерацию речи Dessa, хотя не уточняет, используются ли конкретные механизмы управления эмоциями, такие как теги.

Примеры, предоставленные компанией, демонстрируют способность модели выражать разные эмоциональные состояния: в одном случае Dessa звучит уставшей, говоря о своей усталости, в другом — проявляет уязвимость в ответ на человеческую поддержку. Эти взаимодействия подчёркивают способность модели динамично адаптировать темп, тон и эмоциональную глубину. Кроме того, демонстрации игры показывают интерактивные возможности Dessa в реальном времени, подчёркивая её полнодуплексную функциональность.

Важно, что Dessa может работать локально на потребительском оборудовании, таком как MacBook M4 Max, что обещает более широкий доступ без зависимости от облачных вычислений. Такая локальная работа повышает не только скорость отклика, но и улучшает приватность и снижает операционные затраты. Однако на данный момент Dessa не доступна для широкого использования. Block работает с исследователями безопасности для тщательной оценки модели, что свидетельствует о осторожном подходе, особенно в отношении этических аспектов, таких как потенциальное злоупотребление для обмана пользователей.

Хотя Block в настоящее время работает в основном в финансах и решениях для малого бизнеса — используя голосовой AI для таких задач, как оформление заказов — наличие сложной голосовой модели вроде Dessa может значительно расширить портфель продуктов компании. Голосовой AI, работающий на устройстве, может открыть новые бизнес и потребительские приложения с более богатым, человеческим взаимодействием и при меньших затратах. По мере того как Block продолжает совершенствовать Dessa и решать вопросы безопасности, её разработка может стать значительным шагом вперёд в технологии голосового AI, интегрируя естественную человеческую экспрессию непосредственно в голосовой вывод AI.