活動紀錄
GenAI Stars 【創新創業組】技術驗證工作坊
2024/08/12
GenAI Stars「創新創業組」深度輔導啟動，第三場工作坊為「GenAI技術驗證工作坊」，8/7下午由台大智活AI工程師羅子嘉分享如何實踐GenAI技術驗證。
台大智活AI工程師羅子嘉指出，為什麼產品需要使用RAG（檢索增強生成）？
他舉冰山圖為例，冰山上的資料是基礎模型的資料，但冰山下的資料9成以上皆為企業內部或私有資料，要用RAG才能深入企業或私有資料，先做檢索（Retrieval），再透過LLM（大型語言模型）的推理功能探索這些私有資料，才能打造企業內部的GenAI應用，例如：員工內部應用、客戶服務、商業決策。
其次，彌補LLM訓練資料沒有未來資料的限制，透過RAG才能讓LLM引進動態資料，協助企業快速獲取最新資訊，更新市場趨勢，具備即時應對危機的能力。
第三，由於GenAI會產生「AI幻覺」（hallucination），企業應用GenAI更強調事實查核，包括提升資訊準確性、法律合規，並建立使用者的信任。羅子嘉說，「最重要的是要建立可以讓人信任的LLM系統！」這也是GenAI技術驗證工作坊聚焦的重點。
GenAI技術驗證工作坊重點：
✔️分享Advanced LLM、RAG技術
✔️介紹RAG評估方法與工具
此次GenAI技術驗證工作坊，讓參與的企業技術團隊深入學習GenAI技術的驗證方法，協助企業設計出更加穩定、值得信賴的GenAI應用。
