Block prezentuje Dessa, model głosowej AI pełnodupleksowy o ludzkim brzmieniu

Image: TechCrunch · Source

Block wprowadza Dessa, pełnodupleksową głosową sztuczną inteligencję, która naśladuje naturalną mowę ludzką z emocjonalnym niuansowaniem i działa lokalnie na sprzęcie konsumenckim, takim jak MacBook M4 Max.

Block, firma technologiczna współzałożona przez Jacka Dorseya, zaprezentowała nowy model głosowy o nazwie Dessa, opracowany w jej laboratorium badawczym. W przeciwieństwie do wielu istniejących modeli mowy, które konwertują głos na tekst i tracą w ten sposób wiele emocjonalnych niuansów, Dessa działa całkowicie na bazie mowy, co pozwala jej brzmieć zaskakująco ludzko, z autentycznymi wyrażeniami takimi jak śmiech, pauzy, a nawet płacz. Firma opisuje Dessa jako najbardziej autentyczny model mowy pełnodupleksowej kiedykolwiek stworzony, zdolny do jednoczesnego mówienia i słuchania, podobnie jak model GPT-Live od OpenAI.

Projekt Dessa umożliwia przekazywanie emocji i naturalnego rytmu podczas rozmów, gdyż model jest trenowany wyłącznie na ludzkiej mowie z wykorzystaniem pojedynczej karty graficznej NVIDIA. To kontrastuje z wieloma obecnymi systemami AI do mowy, które opierają się na tekstowych pośrednikach i znacznikach głosowych do wprowadzania emocji, co może skutkować nienaturalnymi lub monotonnych rezultatami. Block podkreśla, że emocje są inherentnie zintegrowane z generowaniem mowy przez Dessa, choć nie wyjaśniono, czy stosowane są konkretne mechanizmy sterowania emocjami, takie jak tagi.

Udostępnione przez firmę przykłady pokazują, jak model wyraża różne stany emocjonalne; w jednym przypadku Dessa brzmi zmęczona, mówiąc o zmęczeniu, a w innym wyraża wrażliwość w odpowiedzi na ludzką pociechę. Te interakcje podkreślają zdolność modelu do dynamicznego dostosowywania tempa, tonu i głębi emocjonalnej. Dodatkowo, demonstracje w grach ukazują interaktywne możliwości Dessa w czasie rzeczywistym, podkreślając jej funkcjonalność pełnodupleksową.

Co ważne, Dessa może działać lokalnie na sprzęcie konsumenckim, takim jak MacBook M4 Max, co obiecuje szerszą dostępność bez konieczności korzystania z chmury obliczeniowej. Ta lokalna praca poprawia nie tylko szybkość reakcji, ale również zwiększa prywatność i zmniejsza koszty operacyjne. Jednak na chwilę obecną Dessa nie jest powszechnie dostępna. Block współpracuje z badaczami zajmującymi się bezpieczeństwem, aby dokładnie ocenić model, co świadczy o ostrożności, szczególnie w kontekście etycznych implikacji, takich jak potencjalne nadużycia do oszukiwania użytkowników.

Obecnie Block działa głównie w finansach i rozwiązaniach dla małych firm – wykorzystując głosową AI do zadań takich jak składanie zamówień – posiadanie zaawansowanego modelu głosowego takiego jak Dessa mogłoby istotnie rozszerzyć ofertę firmy. Głosowa AI działająca na urządzeniu może umożliwić nowe zastosowania biznesowe i konsumenckie, oferując bogatsze, bardziej ludzkie interakcje przy niższych kosztach. W miarę jak Block kontynuuje rozwijanie Dessa i zajmuje się kwestiami bezpieczeństwa, jej rozwój oznacza potencjalnie znaczący krok naprzód w technologii głosowej AI poprzez integrację naturalnej ludzkiej ekspresji bezpośrednio w generowanej mowie AI.