趨勢觀察／混合型AI 建構新未來

人工智慧（AI）在這幾年一直都是半導體業界的熱門話題，不論是在邊緣或局端，相關AI功能的提升，成為不少業者進行產品規畫時的重點之一，高通技術公司產品管理資深副總裁Ziad Asghar認為，混合型AI是未來的發展趨勢。

隨著生成式AI採用速度出現破紀錄的成長，以及運算需求增加，Ziad Asghar表示，混合處理的重要性已是不可同日而語。

運算需求 超速成長

如同傳統運算從大型主機與精簡型電腦應用起步，發展到當前的雲端與邊緣裝置混合一樣，AI處理也必須在雲端和裝置間進行妥善分配，才能擴展並充分發揮其潛力。

Ziad Asghar指出，混合型的AI架構不是只在雲端進行處理，而是在雲端與邊緣裝置之間分配，並協調AI工作負載。

雲端與邊緣裝置，如智慧型手機、汽車、個人電腦和物聯網裝置共同合作，能提供更強大、高效與充分最佳化的AI功能。

混合式AI將使生成式AI開發人員和供應商，能夠利用邊緣裝置中的運算能力來降低成本。此外，混合型的AI架構，或僅在裝置上運行AI，可在全球範圍提供效能、個人化、隱私和安全方面額外的優勢。

Ziad Asghar強調，這些架構可以有不同的卸載選項，根據模型與查詢複雜性等要素，在雲端和裝置間分配處理工作。

舉例來說，如果模型大小、提示（prompt）和生成長度小於特定閾值，並提供可接受的精確度，便能完全在裝置上運行推理。而如果任務較為複雜，模型可以跨雲端和裝置之間運行。

運用廣泛 無所不在

再者，混合式AI甚至能讓裝置和雲端同時運行模型，由裝置來運行模型的輕量版，而雲端同時處理完整模型的多個代碼（token），並在需要時修正裝置答案。

隨著強大的生成式AI模型變得愈來愈小，Ziad Asghar表示，裝置上的處理能力不斷提升，混合式AI的潛力也更進一步的成長。具有超過10億個參數的AI模型，已經能在效能、精確度水準與雲端相近的手機上運行；可預見在不久的將來，有100億個參數以上的模型預計也將能在裝置上運行。

最後，Ziad Asghar提到，混合型的AI幾乎適用於所有生成式AI應用和裝置類型，包括手機、筆電、延展實境頭戴式裝置、汽車和物聯網。對於全球生成式AI的擴展，以及滿足企業和消費者需求而言，這樣的做法相當關鍵。高通堅信，混合型就是AI的未來。