關於本報

資策會 FIND科技報
報主:資策會 FIND科技報
創刊日期:2008-04-02
發報頻率:每週三出刊
訂閱人數:576
官網:
http://www.find.org.tw

近期電子報


訂閱便利貼


將貼紙語法置入您的網站或部落格當中, 訪客可以輸入mail取得認證信,並按下確認連結後, 快速訂閱您的報紙。
預覽圖
訂閱資策會 FIND科技報報
資策會 FIND科技報
-----------------------------------------------------------------------------------------------------
Plurk FaceBook Twitter 收進你的MyShare個人書籤 MyShare
  顯示內嵌語法

資策會 FIND科技報
發報時間: 2025-09-18 16:00:00 / 報主:資策會 FIND科技報
[公益聯播]2025蝙蝠教育推廣
本期目錄
安全與創新如何兼得?RAG技術面臨釋放AI潛力與應對安全兩大挑戰
MaaS應用於智慧觀光的發展現況與未來趨勢
關稅新局、台幣升值夾殺出口!養殖漁業靠AIoT智慧轉型穩住基本盤
從被動回應到主動出擊:AI Agent開啟智慧新紀元
安全與創新如何兼得?RAG技術面臨釋放AI潛力與應對安全兩大挑戰

FIND研究員:李佳珮

 

檢索增強生成(Retrieval-augmented generation,RAG)正以前所未有的速度改變大型語言模型 (Large Language Model,LLM)的應用面貌。RAG透過整合外部知識庫讓LLM不再只是憑空想像而能即時汲取相關資訊,提升回應的準確性、可靠性和時效性。然而,這項技術同時也帶來了全新的安全挑戰,根據彭博最新研究報告揭露了一個驚人事實:RAG不僅沒有讓AI更安全,反而潛藏新的越獄風險。更令人擔憂的是,趨勢科技的調查發現,全球有超過3,000台RAG核心元件完全暴露在網路上,形同將系統曝露於高風險環境。 

安全與創新如何兼得?RAG技術面臨釋放AI潛力與應對安全兩大挑戰

圖1:RAG運作原理圖
圖片來源:本文作者由AI 生成(Claude)
 

RAG運作原理

RAG結合了資料檢索與語言生成模型的能力,讓LLM能即時引用外部知識庫的資訊來回答問題。簡單來說,就是讓AI不只靠自己想,而是先去查詢再回答。

RAG的核心流程如下:

  • 知識來源:彙整文字文件、資料庫或知識圖譜等多元資料構建成專屬知識庫。
  • 索引與嵌入:將資訊轉為語意向量、捕捉語義,方便系統快速進行比對。
  • 向量資料庫:儲存嵌入資料,支援高效的檢索系統。
  • 檢索器:根據查詢問題,從向量資料庫找出最相關的資料內容。
  • 生成器:整合查詢與檢索內容,生成精準回應。

整個過程就像給LLM裝上了一個超級搜尋引擎,讓AI能夠回答特定問題,大幅提升了實用性。

RAG的安全挑戰

RAG 帶來了許多便利,但它複雜架構也帶來了新的安全風險:

  1. 模型越獄風險
    研究顯示,當 RAG 將大量知識引入模型中可能因上下文提示意外觸發LLM給出不當的回應。本意為提升安全性的知識庫,卻可能因大量文件而讓模型生成不安全回應,形同越獄。   
  2. 資料洩露與隱私
    RAG系統中常常會複製敏感資料到新的儲存空間,例如向量資料庫儲存的嵌入可能透過「反向攻擊」還原敏感資訊。不當處理還可能導致用戶間資料交叉洩露,甚至敏感資訊被未經授權地存取。
  3. 資料投毒與竄改
    惡意資料可被注入知識庫,影響輸出結果;攻擊者也可能直接篡改向量資料庫,誤導模型導致模型產生錯誤或惡意的回應。   
  4. 存取控制不足
    權限管理不當,或是過度分享資料,都可能讓機密資料暴露給不該存取的人。許多儲存和快取系統的保護不足,也可能導致客戶資料互相洩露。
  5. 元件暴露
    許多RAG相關伺服器(如 llama.cpp、Ollama、ChromaDB)和Weaviate伺服器,未受保護地暴露於網際網路,缺乏基本的認證機制,讓攻擊者可以輕易讀取、篡改甚至刪除儲存的文件,導致機密資料外洩、服務中斷。

 

緩解策略

為安全部署RAG,企業可採取以下措施:

  • 輸入過濾:掃描上傳檔案,過濾提示注入,修訂個人身份資訊(Personally Identifiable Information,PII)。
  • 嚴格存取控制:採用角色存取控制(Role-based Access Control,RBAC)和最低權限原則,限制知識庫訪問。
  • 資料加密:加密靜態與傳輸中的資料,探索同態加密或差分隱私等進階技術。
  • 持續監控:即時監測異常檢索模式,快速應對威脅。
  • 零信任原則:僅允許預批准連線,強化雲端部署安全。
  • 紅隊演練:模擬攻擊,識別提示注入或資料投毒等弱點。
  • 事實核查:內建自我檢查,驗證輸出準確性,減少幻覺。

 

結論

RAG技術為AI帶來革命性進步已廣泛應用於智慧客服、企業知識搜尋與金融報告生成等領域;但其安全挑戰不容忽視。從模型越獄到元件暴露,企業需採取多層次策略,結合嚴格驗證、加密、監控與零信任原則,才能在釋放RAG潛力的同時,保護資料與系統安全。隨著AI技術演進,持續審計與客製化安全方案將是成功關鍵。未來,如何設計具備內建風險意識的RAG架構,將成為安全AI系統的關鍵指標。

 參考資料來源:

  1. 邁向代理式 AI 之路:暴露在外的基石 
    https://www.trendmicro.com/zh_tw/research/24/k/agentic-ai.html
  2. 【臺灣資安大會直擊】LLM從訓練資料蒐集到投入應用階段都有風險,專家盤點4大類13種攻擊手法 
    https://www.ithome.com.tw/news/168752
  3. AI本地部署的天坑?RAG曝出重大安全漏洞 
    https://www.secrss.com/articles/78300
  4. Security Risks with RAG Architectures 
    https://ironcorelabs.com/security-risks-rag/
  5. UNDERSTANDING AND MITIGATING RISKS OF GENERATIVE AI
    IN FINANCIAL SERVICES 
    https://assets.bbhub.io/company/sites/51/2025/04/arXiv-Understanding-and-Mitigating-Risks-of-Generative-AI-in-Financial-Services-FINAL-4-25-25.pdf
MaaS應用於智慧觀光的發展現況與未來趨勢

FIND研究員:楊雅安

 

隨著數位科技發展,觀光旅遊產業透過5G、人工智慧(AI)與物聯網(IoT)等技術,能提供個人化推薦、智慧導覽、虛實整合及數位支付等服務,不僅提升旅客體驗,也優化業者營運效率,推動產業升級。

數位轉型帶動旅遊型態變革

傳統旅遊模式仰賴人工導覽與紙本的旅遊指南獲得資訊,而智慧科技的發展讓旅客可透過行動裝置即時獲取資訊之外,還能在應用程式中預定票券,並整合行動支付功能,並在景點中透過數位科技享受沉浸式的旅遊體驗。

主要趨勢包括:

  1. 數位平台整合:旅遊MaaSMobility as a Service)結合多種交通工具、住宿、景點門票等服務,提供一站式旅遊體驗。
  2. AI驅動的個人化體驗:透過大數據分析與AI推薦系統,旅遊APP可根據使用者行為提供客製化行程建議。
  3. 沉浸式體驗:擴增實境(AR)、虛擬實境(VR)技術應用於智慧導覽,讓旅客能夠在數位空間內探索歷史文化或體驗景點特色。
  4. 無接觸服務:疫情後,無接觸支付、智慧訂房、自助報到等功能受到重視,降低人員接觸風險,提高旅遊便利性。
  5. 永續智慧旅遊:透過大數據分析與智慧交通調度,減少觀光熱點的過度開發與擁擠,推動綠色旅遊發展。

MaaS 驅動智慧觀光新體驗

      MaaSMobility as a Service)移動服務平台在智慧觀光旅遊生態系中扮演著關鍵角色。透過與交通運輸、觀光業者及餐飲業者的合作,MaaS 提供一站式的旅遊與交通整合服務。結合票券平台、訂房網站與行動支付,MaaS 能有效串聯個人化服務,讓消費者輕鬆規劃並預訂行程,提升旅遊便利性。此外,智慧行動票證平台的導入,使旅客能夠透過數位票證便捷搭乘交通工具並享受各項旅遊服務,進一步推動旅遊產業的數位化與智慧發展。

關稅新局、台幣升值夾殺出口!養殖漁業靠AIoT智慧轉型穩住基本盤

FIND研究員:梁嘉真 你知道嗎?一場寒流就能讓整池魚蝦全軍覆沒! 缺工與氣候變化正衝擊台灣養殖漁業,加上台幣升值、國際貿易風險升高,讓出口競爭力面臨更大壓力。現在,已有企業透過AIoT自動測水質、遠端監控池況,甚至精準投餌,<<詳全文>>

從被動回應到主動出擊:AI Agent開啟智慧新紀元

FIND研究員:鄭怡仙、姜禮煌 AI技術快速發展,逐漸朝向更自主、靈活的方向發展,AI Agent也將成為下一代AI發展的主要趨勢。AI Agent是一種能運用工具完成任務的AI,透過大型語言模型(LLM)進行推理,與生成式AI一問一答的方式比起來有更高的自主性, <<詳全文>>

推薦訂閱
第118期-樂觀之因:資訊共享資源如何(或應如何)存續於著作權,以及其如何被(或不被)當今政策所認可@【創用CC電子報】
真的很抱歉!我不得不宣佈停稿了@【網頁研習室【網頁製作系列報導】】
轉寄『安全與創新如何兼得?RAG技術面臨釋放AI潛力與應對安全兩大挑戰』這期電子報

寄信人暱稱  寄信人email
收信人暱稱  收信人email

  • 社群留言
  • 留言報主