EE前瞻技術大會聯發科高通同場！　聚焦AI小語言模型、跨裝置AI體驗

EE前瞻技術大會今天登場，今年主題為「邊緣智慧：重新定義下一波創新浪潮」，AI模型急速上升，解鎖更多功能，晶片大廠高通和聯發科紛紛針對AI語言模型和邊緣終端提出最新看法。兩大廠商均具焦小語言模型，聯發科強打AI AGENT不限語言文字的多模型態，高通則點出感測器跟CPU NPU等AI模型合作也是重點，跨裝置AI的服務體驗才是關鍵。

聯發科企業策略與前瞻技術資深處長梁伯嵩，聯發科在2016年就將AI導入手機，當時在相機應用最多，2022年ChatGPT出現後，AI模型參數愈來愈大，大語言模型參數上看上兆。AI模型急遽上升，也解鎖更多功能。

梁伯嵩指出，近期很多公司推出幾百億小參數語言模型，其實有利於更多裝置使用AI，大型LLM好比博士教授，小型語言模型參數透過大語言模型萃取，讓日常使用其實只需要研究生和高中生等級就可解題。

運用模型縮小技術後，十億參數就可在手機上使用，透過模型提升表現，包括：重點提示，參考手冊，設定各種問題標準程序、模擬考試，成為領域專家，以及找出最佳做法。其中，RAG技術即是設定各種問題的標準程序如FAQ、SOP等，為近期受關注的技術。

AI從資料訓練到推論，訓練模型不是絕對，是需透過相關AI AGENT提升性能的技巧，且也要運用多元模式，像是語音、文字、影像、人機介面，甚至網路資源都是參數來源，未來跟實體環境像是機器人、自駕車，以及網路環境都要能連接。

高通同樣具邀小語言模型和邊緣AI裝置，高通資深技術行銷總監江昆霖表示，生成式Gen AI如果只靠雲端很難普及到更多層面。資料顯示Gen AI 2030年的3.5%電量用在雲端技術上，因此AI推論轉移到裝置到將是趨勢，未來Gen AI將朝向小而憂小而美的方式邁進。

市場也關注肩負AI運算的心臟CPU處理器發展趨勢，江昆霖說明，CPU和NPU都是AI訓練的關鍵，但並非都為一體適用的處理器，主要是看產品設計概念，每一種處理器都有擅長的地方，要看情境如何妥善來]應用。其實，感測器跟CPU NPU等AI模型合作也是關鍵，每個處理器單元充分合作，加上軟體提升，解決複雜使用情境。

要如何加速裝置AI開發和落地，高通推出AI Stock軟體套件，期望能讓AI開發者使用習慣的底層架構。而高通的AI HUB 也具備上百個預先優化的AI模型，開發者如有選用的模型，也能將此模型快速上傳優化，過往需60天轉換，現在只需1天。

對於未來邊緣AI裝置趨勢，江昆霖分析，目前市場約有25億個AI智能裝置橫畫行動裝端和穿戴等產品，未來將大幅成長，裝置上AI 不只能執行Gen AI跨裝置AI的服務體驗才是關鍵。