Tenstorrent und Smallest.ai starten On-Prem-Produktions-Grade-Sprach-KI-Stack

Image: Tenstorrent · Source

Tenstorrent und Smallest.ai kooperieren, um ein On-Prem-Sprach-KI-System anzubieten, das Smallest.ai's Lightning V2 Modell auf Tenstorrent Galaxy Blackhole Servern ausführt und kostengünstige Echtzeit-Sprachanwendungen mit voller Datenkontrolle ermöglicht.

Tenstorrent, ein KI-Computing-Unternehmen, hat sich mit dem KI-Forschungslabor Smallest.ai zusammengeschlossen, um einen produktionsreifen On-Premises-Sprach-KI-Stack bereitzustellen. Diese Lösung betreibt das Echtzeit-Text-zu-Sprache-Modell Lightning V2 von Smallest.ai nativ auf Tenstorrent Galaxy Blackhole Servern und unterstützt sprachbasierte KI auf Unternehmensniveau mit hoher Leistung und reduzierten Bereitstellungskosten. Die Implementierung von Sprach-KI erfordert typischerweise Kompromisse zwischen Qualität, Kosten und Datenkontrolle. Diese Partnerschaft ermöglicht es Unternehmen, Echtzeit-Sprachagenten vollständig On-Premises zu betreiben und dabei die Datensouveränität zu bewahren, ohne Effizienz einzubüßen. Laut Tenstorrent bietet deren Architektur bis zu vierfach erhöhte Effizienz zu einem Bruchteil der Kosten vergleichbarer GPUs und verändert damit die Wirtschaftlichkeit von Inferenzprozessen.