Tenstorrent y ConfidentialMind colaboran para ofrecer IA soberana en plataformas de hardware abierto

Image: Tenstorrent · Source
Tenstorrent y ConfidentialMind se asocian para ofrecer la plataforma de IA autohospedada de ConfidentialMind en los sistemas Galaxy Blackhole de Tenstorrent, dirigida a organizaciones que requieren control total sobre su infraestructura de IA en múltiples regiones globales.
Tenstorrent, una empresa de computación de IA reconocida por sus procesadores y sistemas basados en RISC-V, se ha asociado con ConfidentialMind, una plataforma de software especializada en la implementación de aplicaciones de IA generativa en entornos privados. Juntos, están integrando la plataforma de IA autohospedada de ConfidentialMind en los sistemas de hardware Galaxy Blackhole de Tenstorrent. Esta solución combinada se comercializará y venderá en Europa, Oriente Medio, Asia-Pacífico y América.
Esta asociación tiene como objetivo principal a organizaciones que demandan soberanía sobre su infraestructura y datos de IA, incluyendo gobiernos, instituciones académicas, empresas reguladas y proveedores de servicios de inferencia. Actualmente, estas organizaciones deben montar sus plataformas de IA por sí mismas, integrando componentes como servicios de inferencia, bases de datos vectoriales, control de acceso, gestión de aceleradores y herramientas de observabilidad. ConfidentialMind afronta este desafío proporcionando la capa de software para implementación y gestión, mientras que Tenstorrent suministra el silicio subyacente y las plataformas de servidor.
La plataforma de ConfidentialMind ha sido validada en el Tenstorrent Galaxy Blackhole, un servidor 6U que alberga 32 procesadores Blackhole Tensix. Los clientes pueden desplegar un único sistema o escalar a un superclúster dentro de sus propios centros de datos. El portal de autoservicio de la plataforma permite el despliegue de modelos de lenguaje grande (LLMs) de código abierto, pipelines de generación aumentada por recuperación (RAG) y agentes de IA, ofreciendo puntos finales API compatibles con OpenAI. Además, soporta multi-tenencia, conectores de datos, gestión de aceleradores, observabilidad y registro de cumplimiento.
Grant Jensen, jefe del ecosistema de socios de software de Tenstorrent, destacó que los clientes buscan capacidad de IA que posean y operen completamente en sistemas abiertos. La capa de despliegue de ConfidentialMind sobre Galaxy Blackhole simplifica el lanzamiento de cargas de trabajo de IA, permitiendo a los equipos ejecutar LLMs y agentes en sus propias instalaciones sin necesidad de construir plataformas complejas desde cero.
Severi Tikkala, cofundador y director general para Norteamérica en ConfidentialMind, enfatizó la importancia de mantener los datos in situ y evitar el bloqueo de hardware. Señaló que desplegar en el hardware de Tenstorrent ofrece una pila de infraestructura abierta con modelos y silicio abiertos.
Tenstorrent proporciona el hardware y soporte local a nivel mundial, mientras que ConfidentialMind contribuye con implementaciones de software ya activas en varias universidades europeas y proveedores de hosting. La colaboración permite así entornos de IA soberanos donde las organizaciones mantienen control total sobre sus pilas y datos de IA.
Acerca de las empresas: ConfidentialMind, fundada en 2023 con sede en Espoo, Finlandia, y una oficina en San Francisco, se enfoca en software para la implementación local de IA generativa. Tenstorrent, liderada por el CEO Jim Keller, diseña y construye procesadores y sistemas de IA RISC-V y licencia su propiedad intelectual a grandes fabricantes de chips como Samsung y LG. Tenstorrent cuenta con el respaldo de inversionistas como Bezos Expeditions, Samsung, LG Electronics, Hyundai Motor Group y Fidelity. Sus esfuerzos combinados buscan acelerar la adopción global de IA soberana y abierta.




Fuentes e informes originales
Read the original source ↗

Comentarios (0)
Aún no hay comentarios.
Escribe un comentario
Los comentarios se publican tras moderación. Tu nombre y comentario serán públicos. Cuenta