Google雲端盛會登場！紀懷新解密下一代「多模態AI代理」技術

Google Cloud 今日（7/9）舉辦年度雲端盛會「Google Cloud Day Taipei」，聚焦代理式企業時代下 Google Cloud AI 與雲端技術的最新發展，以及如何協助台灣企業鎖定高價值應用場景以驅動實質投資轉化。

Google DeepMind 研究副總裁紀懷新以「解構 AI 新浪潮:從語言模型邁向『多模態 AI 代理』」為題發表主題演講。紀懷新指出，生成式 AI 的核心技術本質為「序列傳導」，正帶領科技產業從單純的模式識別，跨入自動化融合的多模態推理時代。

他提到，Google DeepMind 目前的研究核心，已正式從傳統的「預測下一個字」轉向「預測下一個概念」，並推出 Agent Harness 框架，積極布局具備長期規劃與記憶能力的 AI 代理人（AI Agent）生態系。

紀懷新回顧半導體與網路資訊科學的演進指出，過去20年來由「搜尋與推薦」驅動的全球網路經濟產值已逼近1兆美元，然而其底層技術高度依賴索引、向量空間模型與深度學習排序。早期受限於算力，原廠必須採用大量的預先計算；如今晶片算力大幅跨越，智慧型手機的位元計算能力已遠超90年代的超級電腦，這使得「單一模型處理多重任務」的序列傳導技術得以成真。

傳統軟體工程採取「分而治之」模式，不同語系的翻譯、影像描述或問答皆需要獨立開發專用模型。紀懷新強調，現代生成式 AI 的出現實現了技術的自動融合，單一模型即能同時處理文字、語音與多模態影像理解，這也代表產業正式從「工業革命」跨入「智慧革命（Intelligent Revolution）」，開始替代人類大腦處理特定知識任務。

談及當前大語言模型的局限，紀懷新直言，單純的「預測下一個字」在實務上仍屬於模式識別。為了解決複雜的商務與數理邏輯，產業界在2022年左右引入思維鏈技術，透過模仿人類學習的思維推導過程，成功將機器的推理能力提升了2至4倍。

紀懷新透露，為了達成真正的大規模推理，研發團隊目前的攻堅重點是「預測下一個概念」。這項技術旨在突破現有模型無法進行長線規劃、多模態視覺推理與高階代碼編寫的瓶頸，讓 AI 具備預測整體思維走向與多步驟推理的能力。

在 AI 代理人的發展上，紀懷新表示全球正處於早期發展階段，未來的代理人必須具備多步驟推理、長期記憶管理、工具調用以及自我優化能力。為了建構可編程的 AI 生態系，Google 推出名為“Agent Harness” 的 programmable LLM 架構，他強調，這套技術框架將是台灣科技與製造產業轉型不可或缺的骨幹，本地產業必須加速跟進。

目前該項技術已在全球出現務實的落地案例。在現場營運端，Google 已與加拿大電信公司合作，利用多模態 AI 代理人引導一線技術人員進行網路設備的故障排查與自動對接；在商業維運端，對話式代理人也已成功部署於電商與聯絡中心，實現自動化判定客服退款與維運流程優化，大幅提升企業的跨系統營運效率。