Google выпускает два новых специализированных TPU для улучшения AI-задач

Image: TPU 8tx and TPU 8i Max · Source

Google расширяет восьмое поколение своих Tensor Processing Units (TPU) моделью TPU 8tx для конфиденциального обучения AI-моделей и TPU 8i Max с увеличенной памятью, отвечая на потребности безопасности и больших окон контекста в AI-приложениях.

Google объявила о двух новых дополнениях к портфолио восьмого поколения Tensor Processing Unit (TPU), расширяя возможности в различных задачах искусственного интеллекта. TPU 8tx и TPU 8i Max вводят специализированные аппаратные функции, ориентированные соответственно на безопасное обучение моделей и увеличенную память.

TPU 8tx, разработанный в сотрудничестве с AMD, основан на чипе TPU 8t и предназначен для конфиденциального инференса и обучения. Чип оснащён аппаратными средствами безопасности, которые защищают конфиденциальные данные и веса моделей даже во время активного использования — критически важная функция для регулируемых предприятий и государственных учреждений, работающих с собственными или засекреченными данными. Конструкция чипа поддерживает одновременный инференс и обучение, позволяя организациям настраивать модели на приватных данных без передачи этих данных между устройствами, что повышает конфиденциальность и операционную эффективность.

В свою очередь, TPU 8i Max решает задачи, связанные с AI-задачами, требующими огромных контекстных окон. Объединяя два чипа TPU 8i, ориентированных на инференс, в одном модуле, TPU 8i Max удваивает объём памяти, вычислительную мощность и пропускную способность. Такая конструкция позволяет AI-моделям эффективно обрабатывать крупные наборы данных и сложные запросы, обеспечивая максимальную вычислительную плотность на стойку, что позволяет центрам обработки данных увеличивать вычислительные мощности без дополнительного физического пространства.

Портфолио TPU Google теперь включает четыре системы для различных этапов развития AI: TPU 8t для масштабного обучения, TPU 8i для низколатентного вывода, TPU 8tx для безопасных вычислений и TPU 8i Max для обработки широких контекстных окон. Расширенный ассортимент отражает подход Google к созданию модульного, высокопроизводительного AI-аппаратного обеспечения, интегрированного с гибким дизайном системы, включая высокоскоростные сетевые, память и компоненты безопасности.

Для более широкого привлечения разработчиков Google улучшила доступность TPU. Последние обновления включают нативную поддержку популярных фреймворков, таких как PyTorch и Hugging Face, открытие исходного кода инструментов для облегчения интеграции аппаратного обеспечения и оптимизации производительности для достижения современных результатов на бенчмарках, моделирующих реальные AI-нагрузки.

Эти достижения происходят на фоне растущей тенденции, когда крупные технологические компании и лаборатории AI разрабатывают специализированные AI-чипы, стремясь снизить зависимость от традиционных поставщиков GPU. Google подчёркивает, что новые системы TPU не только усиливают исследовательские и коммерческие проекты AI, но и способствуют адаптивной экосистеме аппаратного и программного обеспечения, разработанной для меняющихся требований AI.

Для получения дополнительных сведений о системах TPU Google предоставила технические ресурсы и трансляцию, объясняющую их архитектуру и возможности на платформе Google Cloud.