Tenstorrent и Smallest.ai запустили производственный голосовой AI-стек on-premises

Image: Tenstorrent · Source

Tenstorrent и Smallest.ai объединились, чтобы предложить on-premises голосовую AI-систему, работающую на модели Lightning V2 Smallest.ai на серверах Tenstorrent Galaxy Blackhole, обеспечивая экономичные приложения речи в реальном времени с полным контролем данных.

Компания Tenstorrent, специализирующаяся на вычислениях для AI, совместно с исследовательской лабораторией Smallest.ai представила производственный голосовой AI-стек для локального (on-premises) развёртывания. Решение запускает в режиме реального времени модель преобразования текста в речь Lightning V2 Smallest.ai нативно на серверах Tenstorrent Galaxy Blackhole, обеспечивая голосовой AI корпоративного уровня с высокой производительностью и снижением затрат на внедрение. Внедрение голосового AI обычно требует компромиссов между качеством, стоимостью и контролем данных. Это партнёрство позволяет компаниям запускать голосовых агентов в реальном времени полностью локально, сохраняя суверенитет данных без потери эффективности. По данным Tenstorrent, их архитектура обеспечивает до четырехкратного повышения эффективности при доле стоимости сопоставимых GPU, изменяя экономику инференса.