活動紀錄
2025 GenAI Stars【前瞻技術論壇】
2025/09/23
台大智活中心9/23舉辦GenAI Stars深度輔導系列活動「前瞻技術論壇」，邀請微軟台灣首席技術長花凱龍博士與APMIC創辦人暨執行長吳柏翰(Jerry Wu)進行專題分享，從「可信任的AI雲端架構」與「企業LLM私有化的關鍵概念」兩大主題出發，帶領參與團隊理解如何於部署AI創新應用時，在雲端與地端架構之取捨間達到平衡，打造具永續性與競爭力的GenAI應用策略。
花凱龍：AI正從獨立智能走向協作智能
花凱龍博士以GenAI的快速演進開場，指出GenAI應用已擴展至科學領域及各行各業。他歸納三大技術趨勢，揭示GenAI應用的下一個階段。
首先是小型語言模型(Small language models)的崛起，花博士以微軟Phi系列為例，小型語言模型在降低運行成本與複雜度的同時，仍能在特定領域達到高品質輸出，是企業實現AI落地的關鍵方向。
其次是長期、記憶型代理人工作流程(Long-term, memory-based agentic workflow)。他以微軟線上會議軟體Teams為例，說明AI正從回答問題的工具，轉變為主動協作夥伴(自動生成會議紀錄、回顧任務與決策)。此外，透過多代理人協作系統(multi-agent systems)，不同AI代理人能彼此分工合作，並藉由協定(如MCP與A2A等)，實現串接外部資源，完成跨任務協作。
第三是多模態與雙向互動(Multimodal and bidirectional interaction)。花博士展示多項微軟研究成果，例如：只需輸入照片與文字，即可生成具即時語音互動的虛擬角色，甚至能重現歷史人物(如愛因斯坦)，與使用者進行自然對話。這項技術亦被應用於醫療輔助領域，微軟攜手日本新創團隊及中研院，協助病患重建聲音與改善助聽器音質，體現AI技術的社會價值。
花博士總結提到：「不論是個人或企業，AI應用已成為日常工作的一部分，未來競爭力將取決於『人與AI』以及『AI與AI』的協作。AI正從『獨立智能』走向『協作智能』，唯有團結的智慧，才能解決最複雜的問題。」
吳柏翰：企業級AI勢必走向私有化
接續花博士的分享，APMIC創辦人暨執行長Jerry則以「企業LLM私有化的關鍵概念」為題，從實務角度探討企業如何在資訊安全與效能間取得平衡，打造專屬的AI模型。
他指出，多數企業在導入開源模型時，常面臨需要大量微調(fine-tuning)的挑戰，原因在於AI代理人雖能學習文化與行業知識，卻未受過企業知識的訓練，且現有評測標準多著重於「通用模型」的能力，而非專門針對企業應用設計的「專用模型」。因此「LLM私有化」將成為企業級AI發展的必經之路。
Jerry進一步說明，微調模型能帶來兩項顯著優勢。第一，能更精準地分類對話價值與推理投入，將高價值的商業訊息，分配給具更高運算能力的模型處理，提升精準度與投報。第二，將常用提示詞(prompts)直接內嵌於模型中，讓AI在輸入更少的指令的情況下，生成更有價值的tokens、完成更複雜的任務，同時節省token資源與成本。
他最後以一句話總結模型微調的哲學：「模型可塑性越高，遺忘程度也越高，反之亦然。」他提醒團隊，決定是否進行微調，需根據實際應用情境、資料結構與目標任務仔細評估，這不只是技術問題，更是企業策略與研究投入的抉擇。
