AI伺服器產業概況

「AI的iPhone時刻來臨。」Nvidia黃仁勳揭示著AI應用的大幅開展，為全球科技業帶來的革命性機會。根據產業研究機構TrendForce估計，2023年AI伺服器（包含搭載GPU、FPGA、ASIC等）出貨量近120萬台，年增38.4%，占整體伺服器出貨量近9%。TrendForce甚至同步上修2022~2026年AI伺服器出貨量年複合成長率至29%。

算力大增 伺服器規格大提升

在規格上，相較於一般伺服器，AI伺服器的廣義定義是指搭載AI晶片（如前述的GPU/ FPGA/ ASIC晶片）的伺服器，相對狹義的定義則是至少搭載一顆 GPU的伺服器被視作是AI伺服器。以單價來看，AI伺服器的單價約是過去一般雲端業者使用伺服器的15到20倍，其中對於算力、電源管理的需求，以及散熱技術的提升，都直接帶動了零組件的使用量。

拆解AI伺服器關鍵零組件，以GPU、CPU、記憶體、SmartNIC、機殼、主機板、散熱、電源供應、組裝測試為主要項目。若從成本的角度來觀察，GPU 仍是AI伺服器最重要的部分，占成本比重就高達7成左右；相較之下，CPU從過往扮演伺服器大腦，占成本比重達17.6%，到了搭載GPU的AI伺服器時代，占成本比重大幅降至約2%。而其他的包含散熱、電源供應、機殼等占整體成本皆不到1%。

TrendForce指出，為提升整體AI伺服器的系統運算效能，以及記憶體傳輸頻寬等，NVIDIA、AMD、Intel等高階AI晶片中大多選擇搭載HBM(高頻寬記憶體)。目前NVIDIA的A100及H100，各搭載達80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper晶片中，單顆晶片HBM搭載容量再提升20%，達96GB。另外，AMD的MI300也搭配HBM3，其中，MI300A容量與前一代相同為128GB，更高階MI300X則達192GB，提升了50%。同時預期Google將於2023年下半年積極擴大與Broadcom合作開發AISC AI加速晶片TPU亦採搭載HBM記憶體，以擴建AI基礎設施。