Tenstorrent und ConfidentialMind kooperieren zur Bereitstellung souveräner KI auf offenen Hardware-Plattformen

Image: Tenstorrent · Source
Tenstorrent und ConfidentialMind arbeiten zusammen, um ConfidentialMinds selbstgehostete KI-Plattform auf Tenstorrents Galaxy Blackhole-Systemen anzubieten, mit Fokus auf Organisationen, die vollständige Kontrolle über ihre KI-Infrastruktur in mehreren globalen Regionen benötigen.
Tenstorrent, ein auf KI-Computing spezialisiertes Unternehmen, bekannt für seine auf RISC-V basierenden Prozessoren und Systeme, hat sich mit ConfidentialMind zusammengeschlossen, einer Softwareplattform, die sich auf die Bereitstellung generativer KI-Anwendungen in privaten Umgebungen spezialisiert hat. Gemeinsam bringen sie ConfidentialMinds selbstgehostete KI-Plattform auf Tenstorrents Galaxy Blackhole-Hardware-Systeme. Diese kombinierte Lösung wird in Europa, dem Nahen Osten, dem Asien-Pazifik-Raum und Amerika vermarktet und verkauft.
Diese Partnerschaft richtet sich hauptsächlich an Organisationen, die Souveränität über ihre KI-Infrastruktur und Daten verlangen, darunter Regierungen, akademische Einrichtungen, regulierte Unternehmen und Anbieter von Inferenzdiensten. Derzeit müssen diese Organisationen ihre KI-Plattformen selbst zusammenstellen, indem sie Komponenten wie Inferenzdienste, Vektor-Datenbanken, Zugangskontrolle, Accelerator-Management und Überwachungstools integrieren. ConfidentialMind adressiert diese Herausforderung durch die Bereitstellung der Deploy- und Management-Softwareebene, während Tenstorrent die zugrundeliegenden Silizium- und Serverplattformen liefert.
Die Plattform von ConfidentialMind wurde auf dem Tenstorrent Galaxy Blackhole validiert, einem 6U-Server, der 32 Blackhole Tensix Prozessoren beherbergt. Kunden können ein einzelnes System einsetzen oder auf einen Supercluster innerhalb ihrer eigenen Rechenzentren skalieren. Das Self-Service-Portal der Plattform ermöglicht die Bereitstellung von Open-Source großen Sprachmodellen (LLMs), Retrieval-Augmented Generation (RAG) Pipelines und KI-Agenten und stellt OpenAI-kompatible API-Endpunkte bereit. Zudem unterstützt sie Multi-Tenancy, Datenkonnektoren, Accelerator-Management, Überwachung und Compliance-Logging.
Grant Jensen, Leiter des Software-Partner-Ökosystems bei Tenstorrent, hob hervor, dass Kunden KI-Kapazitäten wünschen, die sie vollständig besitzen und auf offenen Systemen betreiben. Die Deployment-Schicht von ConfidentialMind auf dem Galaxy Blackhole vereinfacht das Starten von KI-Workloads und ermöglicht Teams, LLMs und Agenten in den eigenen Einrichtungen laufen zu lassen, ohne komplexe Plattformen von Grund auf neu bauen zu müssen.
Severi Tikkala, Mitgründer und Geschäftsführer für Nordamerika bei ConfidentialMind, betonte die Bedeutung, Daten vor Ort zu halten und Hardware-Lock-in zu vermeiden. Er wies darauf hin, dass die Bereitstellung auf Tenstorrents Hardware einen offenen Infrastruktur-Stack mit offenen Modellen und Silizium bietet.
Tenstorrent liefert die Hardware und den lokalen Support weltweit, während ConfidentialMind Software-Bereitstellungen beiträgt, die bereits an mehreren europäischen Universitäten und Hosting-Anbietern aktiv sind. Die Zusammenarbeit ermöglicht somit souveräne KI-Umgebungen, in denen Organisationen volle Kontrolle über ihre KI-Stacks und Daten behalten.
Über die Unternehmen: ConfidentialMind, 2023 gegründet mit Hauptsitz in Espoo, Finnland und einer Niederlassung in San Francisco, konzentriert sich auf Software zur Bereitstellung generativer KI vor Ort. Tenstorrent, unter der Leitung von CEO Jim Keller, entwickelt und baut RISC-V-KI-Prozessoren und -Systeme und lizenziert seine IP an große Chiphersteller wie Samsung und LG. Tenstorrent wird von Investoren wie Bezos Expeditions, Samsung, LG Electronics, Hyundai Motor Group und Fidelity unterstützt. Ihre gemeinsamen Anstrengungen zielen darauf ab, die globale Einführung souveräner und offener KI zu beschleunigen.




Quellen und Originalberichte
Read the original source ↗

Kommentare (0)
Noch keine Kommentare.
Kommentar schreiben
Kommentare erscheinen nach Moderation. Name und Kommentar werden öffentlich angezeigt. Konto