OWASP 對於 LLM 的安全建議

FIND研究員：李佳珮

大型語言模型（Large Language Model, LLM）是一種基於人工智慧技術的語言模型，可以處理、產生出類似人類的文字。LLM 在經過特別訓練之後，可以處理大量的自然語言數據。除了 Open AI的 GPT-4 之外，Google 的 BERT, T5、FaceBook 的 RoBERTa、Baidu 的 ERNIE、NVIDIA 的 Megator-LM 開發的 LLM 也都各有特色，在不同的應用情境下發揮各自的特長。透過這些特性 LLM 被實際應用在各種場合，自動產出各種主題的文章、報告；幫忙翻譯文章、幫忙整理長篇文章的重點提出摘要等。然而， LLM 帶來便利的同時也製造更多的風險，帶來一系列的安全挑戰。

OWASP 的 LLM 安全建議

致力於提高應用程式安全的組織 OWASP（Open Web Application Security Project）針對 LLM 的安全提出了一系列可以實做的安全指南，包含 LLM 應用程式中 10 個最常見的漏洞以及建置過程必須特別留意的安全風險。

OWASP Top 10 for LLM Applications

• 即時注入（LLM01: Prompt Injections）：攻擊者可能透過惡意的設計輸入引導 LLM 生成出具偏見的不當回應。
• 不安全的輸出處理 （LLM02: Insecure Output Handling）：未經適當處理的LLM輸出可能導致XSS、CSRF、SSRF、權限提升或遠端程式碼被執行對系統安全造成威脅。
• 訓練資料中毒（LLM03: Training Data Poisoning）：攻擊者可能操控訓練資料故意將錯誤資訊引入模型中影響輸出的可靠性。
• 模型拒絕服務（LLM04: Model Denial of Service）：攻擊者利用密集的操作大量的佔用資源讓 LLM 過載導致服務中止。
• 供應鏈漏洞（LLM05: Supply Chain Vulnerabilities）：因為來自其他供應商的第三方資料或漏洞導致的不良影響。
• 敏感資訊揭露（LLM06: Sensitive Information Disclosure）：揭露了不應當公開的機敏資料例如：個資外洩之類的情形。
• 不安全的外掛套件設計（LLM07: Insecure Plugin Design）：因為使用了不安全未經驗證的外掛套件導致的外來攻擊。
• 過度代理（LLM08: Excessive Agency）：授予 LLM 過多自主權造成非預期的後果增加系統的風險與不確定性。
• 過度依賴（LLM09: Overreliance）：過度信任 LLM 輸出結果造成的決策受損，使用者可能因為接收不正確的訊息導致的錯誤判斷。
• 模型竊取（LLM10:Model Theft）：未經授權存取 LLM可能導致商業損失。

圖1: LLM安全建議的使用時機
來源: https://genai.owasp.org/

確保 LLM 安全的應對措施

• 即時注入（LLM01）：防範措施包括輸入驗證和清理、上下文感知的提示過濾和回應分析以及嚴格的互動日誌記錄。
• 不安全的輸出處理（LLM02）：應使用零信任方法處理 LLM 輸出並進行驗證和清理。
• 訓練資料中毒（LLM03）：可以檢查訓練資料來防範這種情況。
• 模型拒絕服務（LLM04）：可以透過限速、嚴格的使用者身分驗證以及有效的資源分配來防止這種攻擊。
• 供應鏈漏洞（LLM05）：必須評估供應商、使用信任的外掛、持續更新模型以及進行簽章等安全措施來防堵此問題。
• 敏感資訊揭露（LLM06）：進行資料清理、實作適當的使用政策並限制返回的資料類型。
• 不安全的外掛設計（LLM07）：開發人員必須嚴格遵守安全規則來防止漏洞，例如嚴格的參數輸入和安全的訪問控制準則。
• 過度代理（LLM08）：過度授權造成的漏洞。開發人員必須限制外掛功能、追蹤使用者授權所有操作都要經過人工批准並在下游系統中實作授權。
• 過度依賴（LLM09）：過度依賴導致的錯誤資訊傳播。為了減輕這種風險，應對關鍵輸出進行人工審查實施機制來驗證資訊的準確性。
• 模型竊取（LLM10）：未經授權的訪問可能導致經濟損失、競爭優勢削弱以及敏感資訊外洩的危機。公司應透過嚴格的訪問控制和身分驗證去限制 LLM 對資源和 API 的網路訪問、定期監控訪問日誌以及使用批准工作流程進行安全的 MLOps（Machine Learning Operations）自動化防止此情況。

LLM應兼具安全及可靠性

大型語言模型（LLM）在處理和生成自然語言文本方面展示了強大能力，同時在各種應用中提供極大的便利性。然而，隨著 LLM 的廣泛應用，隨之而來的安全風險也不容忽視。

OWASP 提出了針對 LLM 應用的十大常見漏洞及其對策，幫助開發者和組織有效地識別和應對這些潛在威脅。透過實施輸入驗證、嚴格的訪問控制、資料清理以及其他安全措施，我們可以大大減少 LLM 在運行過程中的風險，確保其安全和可靠性。總之，只有在確保安全的前提下，LLM 才能充分發揮其潛力，為各行各業帶來更多價值。

封面圖片來源：

OWASP Top 10 for LLM Applications https://genai.owasp.org/

參考資料來源：

1.What the OWASP Top 10 for LLMs Means for the Future of AI Security https://www.infosecurity-magazine.com/news-features/owasp-top-10-llm-means-future-ai/

2.OWASP Top 10 from LLM Applications https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_1.pdf

3.【生成式AI導論 2024】第13講：淺談大型語言模型相關的安全性議題 (上) — 亡羊補牢、語言模型的偏見、有多少人用 ChatGPT 寫論文審查意見https://www.youtube.com/watch?v=MSnvknLywUc

4.【生成式AI導論 2024】第14講：淺談大型語言模型相關的安全性議題 (下) — 欺騙大型語言模型https://www.youtube.com/watch?v=CNTondxaguo

我把平板變成電腦了！延伸學習載具應用服務介紹

FIND研究員：陳加欣

目前，在各產業都可以看到5G和XR應用結合的許多案例，包含教育領域也不例外。運用5G和VR裝置，我們能夠打造虛實整合的教學服務，創造沉浸式共學的環境，讓地域限制不再是學習的瓶頸。看到這裡我們不禁會想，沉浸式應用是5G網路的專屬服務嗎？5G網路只能搭配沉浸式裝置嗎？除了沉浸式學習之外，沒有其他的可能性了嗎？

政府大力推動「班班有網路，生生用平板」政策

在介紹5G應用於教育的其他案例前，首先要瞭解目前政府對於偏鄉學校的數位政策。從民國106年至114年，教育部透過前瞻基礎建設計畫，陸續針對數位教育投入150億元，自111年起更是連續4年投入達200億元的總預算，就是為了推動「班班有網路，生生用平板」政策。乍聽之下十分理想，然而進一步瞭解就會發現，在設備購置完成的背後，若沒有完善的配套措施，依然難以翻轉教學服務模式。再加上，其實利用平板學習的模式，其缺點顯而易見：平板雖輕便，但主要的學習模式僅限於簡易文本內容及基本視訊觀看，無法進行更複雜的學習。

平板電腦連接數位資源平台，達到數位學習效果

「如果能用輕便的平板做電腦的工作就好了」，這想必不只是學生，這也是許多人心中的吶喊。如今透過5G，真的能夠實現這樣的情境。以平板當作連線I/O工具，實際運算資源置於後端平台共享，因此可提供足夠之計算資源，以達成臨機使用。如此一來，學生透過自己的平板，即可以連線空閒的電腦資源，遠端操作電腦，甚至是不在電腦教室也可以上電腦課。

圖1：延伸載具臨機學習技術架構圖

資料來源：本文作者自行繪製

延伸學習載具應用服務是透過將平板作為學習終端I/O設備連線遠端，如同一台真實電腦於前方之臨機學習效果，可進行如高解析影片製作、商用軟體學習、程式練習等需高資源力之設備應用情境。透過5G進行低延遲/高頻寬之資料互流，提供遠端桌面模式於學生平板上進行操作，滿足其高運算設備之需求。學生將平板接上滑鼠、鍵盤，將其作為學習終端設備，更能夠依照不同目的與需求彈性調整使用，活化閒置硬體資源，無須重新採購設備，降低硬體建置成本，免受限特定空間，提升使用效率，達成時時學習。

FIND觀點

透過這項成果，將能有效延伸學習載具應用服務，提供教育SI業者或5G解決方案商能有效活化地方既有電腦設備，例如，校區閒置的電腦教室設備。不僅協助提升設備使用效率，更能協助業者提供更多元的應用服務，進一步拓展了相關產業的發展空間。 

封面圖片來源：本文作者拍攝 

參考資料來源：

班班有網路 生生用平板-全面推動中小學數位學習精進方案

https://www.edu.tw/News_Content.aspx?n=9E7AC85F1954DDA8&s=9F7133D453CC16F2

數位應用之社會公益：當信仰習俗導入VR體驗

FIND研究員：李修瑋 VR技術的多元數位應用，不僅限於遊戲娛樂體驗，更開始結合多元的輔助性應用層面，逐漸廣泛應用於輔助醫療行為，如幫助自閉症族群、失智長者日常社交，乃至於協助行動不便者到教會、廟宇進行參拜的行為，提供更完善的社會公益體驗。 >

沉浸式展演新紀元：5G通訊打破佈建限制新利器

FIND研究員：張姵宣 沉浸式體驗是指讓觀眾透過先進技術與媒介，身臨其境地感受到虛擬世界或者特定場景所帶來的視覺、聽覺、觸覺等感官體驗。 >