本文共1106字
隨著推出最新的語言模型Gemini,Google Cloud今天也公布支援下一代AI工作負擔的TPU v5p加速器與AI Hypercomputer。
Google Cloud機器學習系統和Cloud AI副總裁暨總經理Amin Vahdat指出,生成式AI模型正在迅速進化,提供無可比擬的精密性與功能。這項技術進展得以讓各產業的企業與開發人員解決複雜的問題,並發掘新商機。不過生成式AI模型的成長,也導致訓練、調整與推論方面的要求變得更加嚴苛。過去五年來,生成式AI模型的參數每年增加十倍,現今的大型模型具有數千億、甚至數兆項參數,即便使用最專門的系統,仍需要相當長的訓練時間,有時需持續數月才能完成。高效率的AI工作負載管理需要一個具備一致性、且由最佳化的運算、儲存、網路、軟體和開發框架所組成的整合式AI堆疊。
Google宣布Cloud TPU v5p,是Google目前功能最強大、擴充能力最佳,且最具有彈性的AI加速器。長久以來,TPU一直是用來訓練、服務AI支援的產品之基礎,包含YouTube、Gmail、Google地圖、Google Play及 Android。Google日前宣布推出功能最強大、最通用的AI模型Gemini便是使用TPU進行訓練與服務。
此外Google宣布推出Google Cloud AI Hypercomputer。AI Hypercomputer是Google Cloud的突破性超級電腦架構,採用整合式系統,並結合了效能最佳化硬體、開放式軟體、領先機器學習架構及靈活彈性的消費模式。AI Hypercomputer採用系統層級的協同設計來提升AI訓練、調整與服務的效率與生產力。
Cloud TPU v5e相較於上一代的TPU v4,Cloud TPU v5e的性價比提高2.3倍,是目前最具成本效益的TPU。而 Cloud TPU v5p是目前功能最強大的TPU。每個TPU v5p Pod均由8,960個晶片組成,透過頻寬最高的晶片間互連網路(Inter-chip Interconnect, ICI)相連,採用3D環面拓撲,提供每晶片4,800 Gbps的速度。相較於TPU v4,TPU v5p每秒的浮點運算次數(FLOPS)提高2倍以上,高頻寬記憶體(High-bandwidth Memory, HBM)則增加3 倍。
TPU v5p專為效能、彈性與大規模作業而設計,相較於前一代的TPU v4,TPU v5p訓練大型LLM模型的速度提升 2.8 倍。不僅如此,若搭配第二代SparseCores,TPU v5p訓練嵌入密集模型的速度較TPU v4快1.9倍。
※ 歡迎用「轉貼」或「分享」的方式轉傳文章連結;未經授權,請勿複製轉貼文章內容
留言