經濟日報 App
  • 會員中心
  • 訂閱管理
  • 常見問題
  • 登出
notice-title img

活動即將結束!
快來簽好簽滿領好康!
寒舍艾美自助餐券、CITY CAFE 等著你!


限時活動最後倒數

不再通知

Google Cloud 推全新 TPU v5p 加速器加速 AI 訓練模型

本文共1106字

經濟日報 記者彭慧明/即時報導

隨著推出最新的語言模型Gemini,Google Cloud今天也公布支援下一代AI工作負擔的TPU v5p加速器與AI Hypercomputer。

Google Cloud機器學習系統和Cloud AI副總裁暨總經理Amin Vahdat指出,生成式AI模型正在迅速進化,提供無可比擬的精密性與功能。這項技術進展得以讓各產業的企業與開發人員解決複雜的問題,並發掘新商機。不過生成式AI模型的成長,也導致訓練、調整與推論方面的要求變得更加嚴苛。過去五年來,生成式AI模型的參數每年增加十倍,現今的大型模型具有數千億、甚至數兆項參數,即便使用最專門的系統,仍需要相當長的訓練時間,有時需持續數月才能完成。高效率的AI工作負載管理需要一個具備一致性、且由最佳化的運算、儲存、網路、軟體和開發框架所組成的整合式AI堆疊。

Google宣布Cloud TPU v5p,是Google目前功能最強大、擴充能力最佳,且最具有彈性的AI加速器。長久以來,TPU一直是用來訓練、服務AI支援的產品之基礎,包含YouTube、Gmail、Google地圖、Google Play及 Android。Google日前宣布推出功能最強大、最通用的AI模型Gemini便是使用TPU進行訓練與服務。

此外Google宣布推出Google Cloud AI Hypercomputer。AI Hypercomputer是Google Cloud的突破性超級電腦架構,採用整合式系統,並結合了效能最佳化硬體、開放式軟體、領先機器學習架構及靈活彈性的消費模式。AI Hypercomputer採用系統層級的協同設計來提升AI訓練、調整與服務的效率與生產力。

Cloud TPU v5e相較於上一代的TPU v4,Cloud TPU v5e的性價比提高2.3倍,是目前最具成本效益的TPU。而 Cloud TPU v5p是目前功能最強大的TPU。每個TPU v5p Pod均由8,960個晶片組成,透過頻寬最高的晶片間互連網路(Inter-chip Interconnect, ICI)相連,採用3D環面拓撲,提供每晶片4,800 Gbps的速度。相較於TPU v4,TPU v5p每秒的浮點運算次數(FLOPS)提高2倍以上,高頻寬記憶體(High-bandwidth Memory, HBM)則增加3 倍。

TPU v5p專為效能、彈性與大規模作業而設計,相較於前一代的TPU v4,TPU v5p訓練大型LLM模型的速度提升 2.8 倍。不僅如此,若搭配第二代SparseCores,TPU v5p訓練嵌入密集模型的速度較TPU v4快1.9倍。

※ 歡迎用「轉貼」或「分享」的方式轉傳文章連結;未經授權,請勿複製轉貼文章內容

延伸閱讀

上一篇
企業生日快樂/新天地 挺過逆風 擴大版圖
下一篇
長榮航榮登去年載客王 台灣虎航稱霸廉航

相關

熱門

看更多

看更多

留言

完成

成功收藏,前往會員中心查看!