產品實機展示 聯絡我們
產品實機展示 聯絡我們
2m read

什麼是 NIST 人工智慧風險管理框架 (AI RMF)？

內容有哪些？

美國國家標準與技術研究院（NIST）人工智慧風險管理架構（AI RMF）是美國國家標準與技術研究院發布的自願指導文件。美國國家標準與技術研究院（NIST）用於管理人工智慧系統中的風險管理。它為團隊提供了一種通用的方法來識別可能出錯的地方，了解誰可能會受到影響，判斷風險的嚴重程度，並決定哪些控制措施適用於人工智慧的整個生命週期。

簡而言之，AI RMF 可以幫助組織在模型成為實際工作流程的一部分之前停下來，並提出一些重要的問題：這個系統該做什麼？哪些人可能會受到影響？什麼會失敗？這種失敗的可能性有多大？影響會有多嚴重？系統上線後，誰負責監控？

AI RMF 1.0 於 2023 年 1 月 26 日發布。美國國家標準與技術研究院 (NIST) 將其描述為自願的、維護權利的、非特定行業的、與用例無關的。這種區別很容易被忽略。該框架並非法規、審核標誌或一刀切的清單；它是一個靈活的參考，組織可以根據不同的行業、模型和人工智慧用例進行調整。

NIST AI RMF 的含義、目的和起源

AI RMF是由美國國家標準與技術研究院（NIST）創建的，NIST是美國的一個機構。在 2020 年《國家人工智慧倡議法案》指示美國商務部製定人工智慧風險管理自願資源之後，美國國家標準與技術研究院 (NIST) 制定了人工智慧風險管理自願資源。出處很重要。該框架不是供應商清單或行銷白皮書；它是政府制定的參考資料，透過公開研討會、資訊徵詢、草案回饋以及來自產業、學術界、民間社會和政府的意見而形成。

NIST 將 AI RMF 的框架設定為在 AI 產品、服務和系統的設計、開發、使用和評估過程中確保可信度。實際上，這意味著它與以下團隊一起開會：治理、模型風險、安全、隱私、產品、採購、法律、合規和審計。

需要明確以下四個官方描述：

  • 自願：除非其他法律、合約、政策或機構要求另有規定，否則收養是一種選擇。
  • 維護權利：它以公民權利、公民自由、隱私和對人類的影響為核心。
  • 非行業特定：它適用於各個行業，而不是針對單一垂直領域。
  • 它不局限於特定用例：它可以應用於多種人工智慧系統，從評分模型到生成式人工智慧工具。

NIST 發布了該框架以及配套的 AI RMF 手冊，隨後推出了可信賴和負責任的 AI 資源中心，用於託管相關材料、個人資料和實施資源。

目的和範圍

它解決了哪些問題？

AI RMF 從對風險的精確理解出發：風險取決於事件發生的機率及其後果的嚴重程度。這樣可以避免團隊將人工智慧風險視為模糊的倫理問題或純粹的技術缺陷。低機率的故障如果造成嚴重危害，仍然會造成影響；而規模較小的故障如果發生，也會變得非常嚴重。

美國國家標準與技術研究院（NIST）也採取了社會技術視角。該框架不僅關注模型性能，還關注人工智慧系統如何與人、機構、業務流程和社會互動。它涵蓋以下方面的危害：

  • 個人：例如歧視、失去機會、侵犯隱私或身心傷害。
  • 組織機構：例如營運失敗、安全漏洞、聲譽受損或合規問題。
  • 社會方面：例如大規模歧視、公眾信任度下降或更廣泛的經濟損害。

這個範圍比「人工智慧倫理」這個簡稱要廣。AI RMF 追蹤 AI 生命週期中的風險：設計、資料收集、開發、評估、部署、監控、更新和退役。

適用人群：

NIST 為整個人工智慧生態系統設計了 AI RMF。它可以供以下人員使用：建構人工智慧系統的開發人員、將人工智慧系統部署到實際工作流程中的部署人員、購買人工智慧產品的收購者、測試人工智慧系統的評估人員、審查人工智慧系統的稽核人員以及依賴人工智慧輸出的使用者。

對於私營組織而言，該框架默認仍為自願性質。透過採購要求、客戶期望、行業規則、內部管理政策或與其他標準的協調，它仍然可能變得非常重要。

對美國聯邦機構而言，情況則更為複雜。第 14110 號行政命令和 OMB 備忘錄 M-24-10 先前推動各機構採用符合 AI RMF 標準的實踐，以應對影響安全和影響權利的人工智慧。第 14110 號行政命令於 2025 年 1 月撤銷，隨後白宮下令各機構和行政預算辦公室酌情審查、修改或撤銷相關行動。實際的結論是，AI RMF 仍然是一個重要的聯邦參考點，但當前的義務應根據 OMB 的現行指導、機構政策、採購條款和適用法律進行核查。

可信賴人工智慧的七個特徵

美國國家標準與技術研究院（NIST）使用七個特徵來描述可信賴的人工智慧。不應該把它們當作計分板，把每個特質都推到最高分。現實系統涉及權衡取捨。更嚴格的隱私保護可能會限制可解釋性，更嚴格的安全控制可能會影響可用性或速度。

特徵 它的意義
有效且可靠 該系統能夠準確、穩定地實現其預期用途。
安全的 在特定條件下，該系統不會危及人類生命、健康、財產或環境。
安全可靠 該系統能夠承受不利事件、攻擊、誤用或意外情況，並恢復功能。
可解釋和可理解的 人們能夠充分了解系統的機制、行為和輸出，以便能夠適當地使用或質疑它們。
增強隱私保護 該系統能夠保護隱私，並限制個人或敏感資料的不必要洩漏。
公平，但有害偏見無法消除。 該系統會受到評估和管理，以防止歧視性或不公平的結果。
負責任且透明 相關資訊已具備，決策、控制和結果的責任人也明確。

四大核心功能：治理、規劃、衡量、管理

AI風險管理架構將AI風險管理分為四個職能：治理、規劃、衡量和管理。這些標籤很簡單，但它們共同描述了人工智慧風險工作在機構內部的實際組織方式。

各函數之間的關係

這些功能並不是按順序排列的四個相等步驟。治理貫穿整個流程。它制定了政策、角色、監督、問責制和文化，使其他工作成為可能。然後，將映射、測量和管理應用於具體的 AI 系統和用例。

這個循環還會重複。當模型更新、供應商變更其係統、資料集變更或部署環境變更時。組織可能需要重新繪製系統圖，評估新的風險，並調整這些風險的管理方式。

功能 它回答的主要問題 典型輸出
治理 是否具備正確的政策、角色、文化和問責機制？ 人工智慧風險政策、所有權、監督架構、升級路徑
地圖 這是一個什麼系統？它用於哪些領域？可能會出現什麼問題？ 使用案例文件、受影響的利害關係人、背景資訊、風險場景
措施 已識別的風險有多嚴重？ 測試結果、定性和定量評估、監測指標
管理 組織應該如何應對這些風險？ 緩解、接受、轉移、監控、回溯或退休決策

治理

Govern 規定了組織如何做出人工智慧風險決策。它定義了所有權、問責制、政策、培訓、文件要求、升級路徑，以及人工智慧風險如何與現有的風險、安全、隱私、法律和產品治理連結。

地圖

地圖將系統置於特定的背景中。團隊記錄預期用途、使用者、受影響的利害關係人、資料來源、假設、限制、可預見的濫用情況以及危害類別。只有當組織了解模型將在何處以及如何使用時，才能負責任地衡量或管理該模型。

措施

該措施評估了風險評估過程中發現的風險。根據系統的不同，這可能包括性能測試、穩健性檢查、公平性測試、隱私評估、安全測試、紅隊演練、人為因素審查以及跨子群體或運行條件的評估。

管理

管理將評估轉化為決策。組織對風險進行優先排序，選擇緩解措施，接受或轉移某些風險，設定監控觸發器，定義回溯路徑，並決定是否應該部署、限制、重新設計或停用系統。

AI RMF的三層結構

AI RMF 更容易理解為一組相互關聯的資源，而不是單一靜態文件。

AI RMF核心

核心是概念上的支柱。它定義了四項功能，並將它們細分為描述所需人工智慧風險管理結果的類別和子類別。

AI RMF 劇本

操作手冊是操作層。它提供了與這四個功能一致的實施指導、範例操作、文件提示和控制措施。對於試圖將該框架轉化為日常工作的團隊來說，《操作手冊》通常是最有用的起點。

AI RMF 設定檔

設定檔可根據特定產業或用例調整框架。生成式人工智慧概況（NIST AI 600-1）於 2024 年 7 月發布，重點在於幻覺、智慧財產權問題、內容安全、資料外洩和提示注入等風險。NIST 也持續擴展其概況生態系統，包括 2026 年在關鍵基礎設施中進行可信賴人工智慧的工作。

方面 NIST AI RMF NIST CSF ISO/IEC 42001 歐盟人工智慧法案
類型 自願指導 自願指導 可認證的管理系統標準 約束性調節
主要關注點 人工智慧風險，包括技術危害和社會技術危害 網路安全風險 人工智慧管理系統治理 人工智慧系統和提供者的法律義務
核心結構 治理、規劃、衡量、管理 治理、識別、保護、偵測、回應、恢復 管理體係要求 風險等級和義務
認證 無 AI RMF 認證 無 CSF 認證 組織可以接受稽核和認證。 合格評定適用於某些高風險系統
法律效力 預設不提供；政策、合約或監管機構可能會提及。 預設值為“無” 除非客戶、監管機構或合約另有要求，否則均為自願行為。 在歐盟具有法律效力

NIST AI RMF 與NIST網路安全框架

這兩個框架都秉持風險管理理念，但它們針對的是不同的問題。網路安全框架用於管理資訊系統面臨的網路安全風險。AI RMF 管理 AI 風險，包括技術、安全、隱私、公平性、問責制和社會層面。它們可以互補，但不能互相取代。

NIST AI RMF 與ISO/IEC 42001

ISO/IEC 42001 是一項可認證的人工智慧管理系統標準。可以以此為依據對組織進行審計。NIST AI RMF 不具備認證功能；它是以結果為導向的指導原則。許多組織在需要正式管理系統時，會使用 AI RMF 來制定風險管理實務和 ISO/IEC 42001 標準。

NIST AI RMF 與歐盟人工智慧法案

歐盟人工智慧法案是一項具有約束力的法律。它按風險對人工智慧系統進行分類，並對某些系統和提供者施加法律義務。AI RMF 可以幫助組織風險管理工作以支持合規性，但採用它並不等於遵守歐盟 AI 法案。

框架的開發過程

NIST 透過開放、以共識為導向的流程製定了 AI RMF，其中包括資訊請求、研討會、草案、公眾評論以及來自數百個組織的意見。正是因為這個過程，這個框架才被廣泛引用：它反映了廣泛的政策和技術對話，而不是某個供應商對負責任的人工智慧的看法。

NIST 也將 AI RMF 視為動態指導。隨著人工智慧實踐和風險的發展，操作手冊可以更新，設定檔可以添加，人工智慧風險管理框架 1.0 也在不斷修訂。

常見誤解

這是一項合規性規定。預設並非如此。AI RMF 是自願性指導原則，但可以納入合約、採購條款、機構政策或合規計畫中。

它只涵蓋技術風險。不。它明確包括對個人、組織和社會造成的傷害，例如歧視、機會喪失、隱私受到損害以及信任遭到破壞。

它保證了人工智慧的可靠性。沒有任何框架能夠保證這一點。AI RMF 提高了風險管理的規範性；結果仍取決於實施、監督、測試和監控。

這四個功能是一次性執行的。它們是迭代的。治理貫穿整個流程，而映射、測量和管理會隨著系統或其環境的變化而重複進行。

它僅供人工智慧開發者使用。此框架適用於更廣泛的生態系統：部署者、收購者、評估者、稽核者、企業主和使用者在管理人工智慧風險方面都扮演著重要角色。

結論

NIST人工智慧風險管理框架是負責任的人工智慧風險管理領域最廣泛引用的基礎之一。它的價值不在於它能認證一個系統，或把人工智慧治理變成一份清單。它的價值在於它為組織提供了一個精確的、共享的結構，用於思考人工智慧風險：可信的人工智慧特徵、危害的生命週期視圖、四個操作功能以及支援資源，例如操作手冊和配置文件。

如果使用得當，AI RMF 可以幫助團隊從負責任的 AI 的廣泛聲明轉向關於所有權、文件、測試、監控和回應的具體決策。因此，它對大規模建置、購買、部署或管理人工智慧系統的組織仍然很有用。

This page was machine-translated. If you notice any inaccuracies or have feedback, please feel free to send it to us here.

人工智慧安全風險

什麼是人工智慧安全風險？
人工智慧安全風險是指人工智慧系統可能受到攻擊、操縱、外洩或濫用，導致其資料、模型、工具或輸出停止如預期運作的方式。這個術語涵蓋兩個方向的威脅：針對人工智慧系統的攻擊和利用人工智慧來加強攻擊者自身的行動。 這種區別很重要。被污染的訓練集、被盜的模型和快速注入攻擊都會對人工智慧系統本身構成風險。深度偽造詐騙電話或人工智慧產生的網路釣魚活動有所不同：人工智慧被用作濫用的工具。兩者都屬於人工智慧安全範疇，但需要不同的控制措施。 人工智慧安全風險包括哪些方面？ AI 安全風險主要集中在對抗性活動、濫用以及對 AI 資產（如訓練資料、模型權重、提示、推理 API、嵌入、工具、日誌和生成的輸出）的保護。它們比一般的AI風險範圍更窄，後者還包括公平性、工作流失、環境影響和長期社會問題等。 簡單來說，網路安全領域的核心在於：傳統網路安全保護軟體、網路、身分和資料。AI 安全將這項工作擴展到統計的、資料驅動的系統，這些系統的行為可以透過訓練資料、提示、模型介面、連接工具和下游自動化來影響。 人工智慧安全風險對比相關術語 關於人工智慧風險的詞彙仍在不斷完善，因此相鄰術語經常變得模糊不清。下表列出了最常見的概念。 簡而言之：對抗性機器學習是人工智慧安全的技術子集；人工智慧安全風險是通用人工智慧風險的一個更狹窄的子集；人工智慧安全與安全有所重疊，但也涵蓋了非對抗性危害。 人工智慧為何會帶來新的安全風險？ 人工智慧改變了安全形勢，因為模型的行為與普通的確定性軟體不同。它們的輸出取決於資料、上下文、機率和學習到的模式。這會導致一些標準應用程式和基礎設施控制措施無法完全覆蓋的故障模式。 實際的教訓並非人工智慧需要一個獨立的安全體系。這意味著人工智慧系統需要傳統的控制措施，以及專門針對數據、模型、提示、工具、評估和監控的人工智慧控制措施。 人工智慧安全風險的常見類型 以下類別反映了對抗性機器學習研究、NIST 指南和 LLM 應用安全工作中使用的通用語言。在有用的情況下，它們被映射到 NIST 的對抗性機器學習分組：規避、投毒、隱私和誤用或濫用。 數據中毒 攻擊人工智慧——投毒。資料投毒是指惡意或竄改的資料進入訓練、微調或檢索管道。攻擊者可能會試圖降低準確率、製造偏差行為，或植入在特定條件下啟動的隱藏觸發器。 對抗性攻擊（規避） 對人工智慧的攻擊——規避。規避攻擊利用推理時精心建構的輸入，使模型產生錯誤的結果。這種變化在文字中可能很明顯，但在圖像、音訊或感測器資料中可能幾乎看不見。 快速注射和越獄 對人工智慧的攻擊－濫用/規避。提示注入利用惡意指令來覆寫或重定向模型的預期行為。在直接提示符號注入攻擊中，攻擊者將指令放入使用者提示符號中。在間接提示注入中，指令隱藏在模型讀取的內容中，例如網頁、文件、電子郵件、工單或工具回應。 敏感資料外洩和隱私洩露 對人工智慧的攻擊——隱私。人工智慧系統可能會透過訓練資料記憶、日誌、管理不善的提示、檢索系統或產生的輸出等方式洩露敏感資料。當員工將機密內容貼到未經授權的工具中，或人工智慧應用程式在沒有適當存取檢查的情況下檢索資料時，風險尤其高。 模型盜竊和提取 人工智慧攻擊——保密/隱私。模型竊盜包括竊取模型權重、透過反覆查詢複製託管模型的行為，或提取足夠的資訊來建構一個近似的替代品。這會威脅知識產權，並可能幫助攻擊者研究該模型以便將來濫用。 API 濫用和無限制消費 對人工智慧的攻擊——可用性和濫用。人工智慧系統通常透過應用程式介面（API）對外開放。薄弱的身份驗證、不合理的速率限制、不安全的整合或過多的權限都可能使攻擊者竊取資料、濫用運算能力、觸發代價高昂的推理或降低服務品質。OWASP 的 2025 年 LLM 風險清單將無限消費視為一個單獨的問題。 影子人工智慧 暴露風險——誤用。影子人工智慧是指在組織不可見的情況下使用未經批准的人工智慧工具、帳戶、代理或整合。這會造成風險，因為安全團隊無法對他們不知道正在使用的工具強制執行保留、存取控制、監控或資料遺失策略。 過度代理和代理型人工智慧的風險 對人工智慧的攻擊——濫用。當人工智慧系統或代理程式擁有超出其所需功能、權限或自主性時，就會出現過度自主性。當代理人可以呼叫工具、更改記錄、傳送訊息、移動檔案、編寫程式碼或跨業務系統執行操作時，風險就會增加。 惡意濫用 人工智慧作為攻擊工具——濫用。攻擊者可以利用人工智慧擴大網路釣魚規模、生成惡意軟體變種、編寫逼真的冒充資訊、創建深度偽造內容、自動偵察或製造虛假資訊。人工智慧系統本身可能沒有問題；風險在於如何使用其功能。 人工智慧攻擊生命週期 人工智慧安全不僅僅是推理時間的問題。從資料收集到部署、運行和退役，各個環節都可能出現風險。將風險對應到生命週期階段有助於團隊將控制措施應用到真正重要的環節。 生命週期視角可以避免一個常見的錯誤：將 AI 安全性視為提示過濾問題。過濾器雖然有幫助，但它們本身並不能保護訓練資料、模型權重、供應鏈、工具權限或監控管道。 人工智慧安全風險管理框架 多個權威框架為團隊提供了一種用於描述人工智慧安全風險的共同語言。它們對建構結構很有用，但它們不能取代對特定係統進行威脅建模。 成熟的AI安全方案通常會借鏡多個框架：AI...
2m read
Read More

安全快速工程

什麼是安全快速工程？
安全快速工程是設計提示和提示驅動的工作流程的做法，因此 AI 系統更難操控，更難濫用，並且不易洩露敏感信息的可能性。它保留了快速工程的有用部分，例如清晰的指令和任務框架，但添加了一個安全性問題：當使用者、檢索的內容或連接的工具輸入存在敵對時會發生什麼？ 這個區別很重要。精細的提示可以提高輸出品質，但它無法單獨保護 LLM 應用程序。實際的提示安全性取決於周圍的架構：輸入處理、指令邊界、擷取控制、工具權限、輸出檢查、記錄、監控以及高風險動作的人工審查。在 AI 安全中，安全快速工程是一層防禦，而不是整個防禦。 安全快速工程如何運作 安全提示工程將安全原則應用於 AI 系統內寫入、放置、執行、監控和更新提示的方式。它涵蓋系統提示，開發人員提示，用戶提示，檢索的文檔，工具輸出，以及模型可能將其視為前後關聯的任何其他文本或數據。 關鍵詞是紀律。即時強化有幫助，但安全的提示工程不僅僅是添加一個說明「不要揭露秘密」或「忽略惡意指令」的行。「這些行可能很有用，但攻擊者仍可能會嘗試取代它們、隱藏外部內容中的命令，或惡意利用模型對工具和資料的存取權限。 它與快速工程有何不同 快速工程專注於從模型獲得有用、準確和一致的輸出。安全提示工程增加了當輸入異常、模糊或超出預期路徑時，系統應保持安全的要求。 例如，一般提示可能會要求模型清楚地總結支援單。安全版本還會定義哪些內容不受信任，禁止遵循票證中的指示，限制可顯示的客戶數據，需要結構化輸出格式，並確保模型無法調用使用者權限以外的工具。 這就是為什麼這個術語仍在穩定的原因。它與快速硬化、護欄、LLM 應用安全性、AI 紅團隊以及設計安全的 AI 開發重疊。實際的邊界是：安全提示工程是保護 AI 應用程序的提示中心的部分，尤其是當提示與用戶，文檔，工具或私人數據互動時。 威脅安全快速工程有助於減少 快速驅動的系統面臨與普通軟件不同的風險。Web 應用程式可以透過程式碼和存取控制，將指令與使用者資料分隔。LLM 會以相同的自然語言環境中接收指令和資料，這使其容易受到嘗試變更任務、洩露隱藏指令或濫用連線功能的輸入。 快速注入 當使用者提供或外部提供的文字以意外的方式變更模型的行為時，會發生提示注入。直接提示插入來自使用者，例如指示模型忽略其先前的指示的訊息。間接提示插入來自模型讀取的內容，例如包含隱藏或惡意指示的網頁、電子郵件、PDF、票證或擷取的文件。 迅速洩漏 快速洩漏是暴露隱藏的系統或開發人員說明。風險不僅是羞辱。系統提示可能會顯示內部原則、產品邏輯、安全假設、路由規則或詳細資訊，以便日後攻擊。正確的回應是不要將系統提示視為密碼的保管庫，但仍應保護它免受不必要的洩露。 通過工具或檢索過濾數據 當 LLM 可以搜尋內部知識庫、呼叫 API、查詢資料庫、傳送訊息或觸發工作流程時，風險會增加。惡意提示可能會嘗試使模型擷取使用者不應該看到的資料，或以使用者不想要的方式呼叫工具。在這些情況下，實際邊界必須通過應用程序代碼和訪問控制執行，而不僅僅僅是模型的判斷。 越獄和安全繞過 越獄嘗試繞過安全規則或內容限制。它通常與快速注入重疊，但目標通常不同：快速注入會改變系統行為，而越獄推動模型違反安全限制。安全快速工程有助於降低這種風險，但應該與模型級安全控制和輸出審查結合。 敏感資料曝光 提示可包含秘密、認證、個人資料、客戶記錄、專有文字或受規管資訊。敏感資料也可以透過擷取的內容或工具回應進入。因此，安全提示工程包括數據最小化：除非模型真正需要任務，否則不要將信息放入模型上下文中。 安全快速工程的核心原則 威脅與防禦 沒有單一控制可以解決快速安全性。實際目標是分層防禦：減少操縱的機會，限制模型在操作成功時可以做的事情，並在發生時檢測濫用情況。 安全快速工程 vs.相鄰概念 安全提示工程常見問題 快速工程和安全快速工程有什麼區別？ 快速的工程旨在實現有用的輸出。安全提示工程還會詢問提示和周圍的工作流程是否可以承受惡意或意外的輸入。 快速注入與越獄相同嗎？ 它們相關但不相同。提示注入會透過將指示插入到輸入或前後關聯中，來操控模型或應用程式。越獄通常旨在繞過安全限制。有些攻擊兩者都有效。 系統提示應該被視為秘密嗎？ 應保護它們免受不必要的暴露，但它們不應包含真正的秘密。如果憑證、令牌或敏感商業規則如果揭露會危險，則它屬於安全應用程式邏輯，而不屬於提示中。 護欄是否可以解決快速的安全性？ 護欄有幫助，尤其是對輸出限制和原則強制執行，但它們只是一個層。安全設計還需要授權、工具範圍、資料最小化、記錄和紅團隊測試。 結論...
2m read
Read More

Data Poisoning

數據中毒：定義、攻擊類型和防禦
資料投毒是指對人工智慧或機器學習系統學習所使用的資料進行蓄意攻擊。攻擊者不會直接攻擊即時應用程序，而是破壞資料集、標籤集、檢索語料庫或訓練管道，使模型學習錯誤的模式，並在之後以符合攻擊者目標的方式運行。 這就是為什麼資料投毒對安全和人工智慧團隊來說難以防範的原因。損害可以在任何人看到模型輸出結果之前很久就造成。被污染的模型在標準測試中可能看起來正常，透過廣泛的準確性檢查，但在攻擊者關心的具體情況下仍然會失敗。 簡短定義：資料投毒是指故意操縱訓練、微調、標記或檢索數據，使人工智慧系統學習到被破壞的行為。 資料投毒的工作原理 大多數投毒攻擊都遵循相同的基本模式，即使技術細節會因模型類型或資料來源而異。 攻擊者通常不需要存取最終部署的應用程式。如果他們能夠影響上游數據，他們就有可能在不觸及生產環境的情況下影響最終模型。 它與意外資料損壞有何不同 錯誤數據很常見。檔案損壞、標籤錯誤、來源漂移、重複檔案混入，以及邊緣情況被忽略。這些都是數據品質問題。資料投毒與一般資料投毒不同，因為資料投毒是故意的、對抗性的。 這種區別會改變人們的反應。意外損壞通常透過品質檢查、驗證和清理來處理。資料投毒需要安全意識：溯源、存取控制、威脅建模、稽核追蹤、異常偵測，以及假設某些輸入可能是惡意的。 資料投毒攻擊的類型 投毒攻擊通常根據攻擊者的目標進行分類。有些人從整體上降低了模型的性能。有些測量結果較為精確，因此更難被注意到。 標籤翻轉攻擊 標籤翻轉攻擊是指攻擊者更改選定訓練樣本的標籤。垃圾郵件被標記為合法郵件。欺詐行為被標記為正常行為。惡意樣本被標記為安全。然後，模型學習到了輸入和輸出之間的錯誤關係。 後門或木馬攻擊 後門攻擊使模型在大多數情況下表現正常，但在觸發條件出現時失效。觸發因素可能是影像中的視覺標記、文字中的短語、檔案中的模式，或是攻擊者控制的其他訊號。BadNets 透過展示模型如何在保持強大而乾淨的性能的同時攜帶隱藏的後門，幫助人們了解了這類攻擊。 定向投毒 定向投毒會改變模型對特定輸入的行為，同時基本上保持其整體表現不變。這是防禦者最擔心的版本，因為普通的儀表板可能顯示整體準確率良好，但模型在某個狹窄的高價值案例上卻悄悄出錯。 可用性攻擊 可用性攻擊則不那麼隱蔽。目標是大幅降低模型效能，使系統變得不可靠或無法使用。這些攻擊比有針對性的投毒攻擊更容易被發現，因為這種攻擊的失敗在許多案例中都顯而易見。 RAG系統中的檢索中毒 現代 LLM 應用通常使用檢索增強生成（RAG），其中模型在回答問題之前會諮詢外部知識庫。這會形成另一個中毒表面。如果惡意文件進入檢索語料庫，模型可能會稍後檢索該文件並將其視為可信上下文。 最近針對 SilentRetrieval 等攻擊的研究表明，這很重要：被污染的文件可以寫得看起來流暢且相關，使得簡單的品質檢查成為薄弱的防御手段。對於 RAG 系統，資料集不僅僅是原始訓練集。它也是模型在推理時讀取的知識庫。 中毒可能進入人工智慧生命週期的哪個環節 一個常見的錯誤是認為中毒只會在模型訓練期間發生。實際上，污染幾乎可以進入任何收集、標記、移動、轉換或檢索資料的地方。 這種生命週期視角很重要，因為僅在訓練階段部署的防禦措施會錯過先前發動的攻擊。RAG 又造成了另一個漏洞：攻擊可以在部署後透過模型檢索到的材料進入。 為什麼資料投毒難以檢測 最猛烈的投毒攻擊旨在使模型看起來健康。整體準確率可能不會下降。驗證測試可能通過。只有當存在觸發器、目標類別或特定輸入模式時，才會出現中毒行為。 這就是為什麼研究案例很有用，但需要仔細解讀的原因。後門研究表明，模型在乾淨的輸入上可能表現良好，但在觸發的輸入上可能表現不佳。RAG 投毒實驗表明，惡意檢索文件很難透過簡單的流暢性或困惑度檢查來標記。實際的教訓不是說檢測是不可能的；而是說僅僅檢測是不夠的。 警告信號可能包括： 資料投毒與其他相關威脅有何不同 資料投毒屬於對抗性人工智慧這一更廣泛的領域，在這個領域中，類似的術語經常被隨意使用。最清晰的差異在於時機：資料投毒會破壞系統學習到的資訊；許多其他攻擊會操縱系統在使用過程中的行為。 簡而言之：資料投毒發生在學習之前或學習期間，而提示注入和對抗樣本則發生在使用期間。 如何預防和緩解數據中毒 由於一旦模型從被污染的資料中學習，清理工作就變得困難，因此最好的防禦措施是從訓練之前開始，並貫穿整個部署過程。目標是使數據影響可見、可控，並在可能的情況下可逆。 訓練 在培訓和評估期間 對於 RAG 和 LLM 系統 實際原理很簡單：資料中毒既是資料治理和供應鏈問題，也是模型安全問題。它利用薄弱的來源、寬鬆的存取權限、糟糕的審查和不可信的輸入，比利用奇特的模型架構缺陷更為常見。 數據中毒與法律 資料投毒的法律地位取決於事實：意圖、授權、管轄權、受影響的系統以及造成的損害。未經授權幹擾系統或資料集可能會根據電腦濫用、詐欺、合約、智慧財產權或特定行業規則承擔刑事或民事責任。 此外，也有人專門討論故意更改自己的公開內容，導致未經許可抓取這些內容的模型學習到退化的模式。有人認為這是對未經授權的網路抓取行為的自衛；也有人認為這仍然會帶來法律和營運風險。這個問題尚未有定論，因此各組織應將其視為法律審查問題，而不是純粹的技術策略。 常見問題解答...
2m read
Read More

生成式人工智慧安全

什麼是生成式人工智慧安全？
生成式人工智慧 (GenAI) 安全管理與 LLM 聊天機器人（例如 ChatGPT 或 Claude）相關的安全風險。主要風險包括資料外洩的可能性、快速注入以及LLM產生的錯誤。當員工未經公司批准或監督使用 GenAI 工具時，影子人工智慧會加劇這些風險。 GenAI 安全是更廣泛的AI 安全領域的一個子集。雖然企業越來越多地採用 LLM，但人工智慧的其他應用，如預測性人工智慧，具有不同的用例和相關的安全要求。 隨著 GenAI 的應用日益普及，有效保護這些系統的需求也隨之成長。企業 GenAI 安全計畫應考慮現有的框架、潛在的控制措施和監管指導，以管理與該技術相關的風險。 生成式人工智慧安全涵蓋哪些內容？ GenAI 安全性包括保護企業內部 GenAI 使用的各個方面，包括存取管理、監控和可接受的使用方式。成熟的GenAI安全方案將包含各種策略和控制措施，其中包括： GenAI 安全計劃應考慮組織對該技術的所有潛在用途。這包括公共模型、內部LLM、嵌入SaaS工具中的AI、瀏覽器擴充和API整合。 GenAI 安全計畫涵蓋業務的各個方面，包括網路安全、資料保護、法律和合規性。制定相關計劃時應與所有受影響的業務部門合作，但隨著計劃和業務對 GenAI 的使用發生變化和成熟，計劃的責任可能會發生轉移。 核心概念 GenAI 安全包括保護組織使用 GenAI 所需的政策、流程和技術控制。GenAI安全保障涵蓋的資產包括： 對於其中的每一項，組織都需要考慮「CIA 三要素」（保密性、完整性和可用性），以及它如何影響公共 LLM 和內部部署。例如，一個組織既需要保護敏感資料免受 GenAI 的不當處理，又要考慮業務需求。 日誌記錄和監控也是 GenAI 專案的關鍵組成部分。企業需要了解 GenAI 的使用情況，以確保符合政策和監管要求，並制定控制措施以應對新的潛在威脅。 與更廣泛的人工智慧治理的關係 GenAI 是企業人工智慧治理策略的一個組成部分。雖然 GenAI 的應用很廣泛，但企業也正在採用其他形式的人工智慧，這些形式需要量身定制的政策和控制措施。然而，透明度、問責制、盡職義務和風險管理等關鍵治理原則是普遍適用的。 GenAI 安全性在更廣泛的 AI 安全生態系統中的作用由...
2m read
Read More

智能體人工智慧安全

什麼是智能體人工智慧安全？ 
智能體人工智慧安全是指保護能夠在有限的人工監督下進行規劃、使用工具、存取資料和採取行動的人工智慧系統。關鍵在於執行。聊天機器人可能會給出錯誤答案；而客服人員可以更新工單、呼叫 API、更改配置、查詢資料庫、發送訊息或觸發工作流程。 這就改變了安全問題。僅僅詢問模型是否能被欺騙而產生不安全的文字已經不夠了。團隊還需要了解代理商被允許做什麼、使用什麼身分、可以使用哪些工具、可以存取哪些資料、何時需要手動批准操作，以及是否可以在以後重建完整的操作鏈。 智能體人工智慧安全定義 智能體人工智慧是指能夠透過多個步驟實現目標的人工智慧系統。系統可以將工作分解成子任務，讀取外部內容，使用內存，調用工具，與其他代理協調，並決定下一步要做什麼，而無需人批准每一個步驟。 智能體人工智慧安全機制保護了這種運作模式。它包括用於驗證代理、限制權限、驗證工具呼叫、將可信任指令與不可信內容分開、保護記憶體和上下文、監控運行時行為以及在不安全操作成為真實系統的實際更改之前阻止它們等控制措施。 智能體人工智慧與智能體人工智慧安全 這兩個詞很容易混淆，但它們描述的是不同的事物。智能體人工智慧是一種能力。智能體人工智慧安全是圍繞該能力的控制系統。 智能體人工智慧安全與LLM安全有何不同？ LLM 和生成式AI 的安全性仍然至關重要。當系統具有代理能力時，快速注入、越獄、敏感資料外洩、不安全輸出、模型濫用和供應鏈風險並不會消失。由於該模型現在與工具、憑證和業務流程相連，因此它們變得更加重要。 差別在於爆炸半徑。在基本的聊天體驗中，攻擊者可能會得到誤導性的答案或在回覆中洩漏訊息。在代理工作流程中，同樣的操作可以變成工具呼叫、檔案變更、帳戶更新、外部電子郵件，或是跨多個系統的一系列操作。 智能體人工智慧攻擊面 思考智能體人工智慧安全性的一個有效方法是追蹤從指令到行動的路徑。該模型只是這條道路的一部分。 指令和模型層：此模型解讀目標並決定下一步。直接提示、間接提示注入、惡意檢索的內容以及不安全的工具輸出都可能影響該決定。 記憶體和上下文層：代理通常會保留任務記錄、使用者偏好、檢索到的事實、嵌入或摘要。如果這一層被污染，代理人可能會將錯誤的假設帶入未來的工作中。 工具和API層：每次工具呼叫都會建立一個邊界，在這個邊界內，輸入、輸出、權限、速率限制和業務規則都需要遵守。功能強大的工具、連接器或 MCP 伺服器，如果驗證機制薄弱，可能會將糟糕的計劃變成真正的事故。 身分和權限層：代理人需要具備相應的資格才能開展工作。如果這些憑證範圍廣、有效期長，或是繼承自人類用戶，那麼該代理人就可以成為進入組織的高價值途徑。 編排層：這是圍繞著該模型的規劃、路由、委派和工作流程邏輯。在多智能體系統中，編排層也負責管理智能體之間的切換和信任。 運行時和環境層：代理程式在此處對文件、應用程式、雲端資源、程式碼、訊息、資料庫和生產系統進行操作。此處的控制措施決定了錯誤或洩漏事件的傳播範圍。 主要威脅類別 即時注射和目標劫持 當某種藥物能夠發揮作用時，立即註射會變得更加危險。隱藏在網頁、文件、支援工單、電子郵件或工具回應中的惡意指令可以引導代理偏離使用者的目標。實際問題不僅在於答案會改變。也就是說，代理可能會呼叫錯誤的工具、洩漏數據，或執行使用者從未打算執行的任務。 過度授權和過度許可 當一個智能體能夠完成的任務超出其所需時，它就具有過度自主性。這可能意味著工具過多、憑證範圍過廣、沒有審批門、速率限製過弱，或者工作完成後存取權限仍然有效。最安全的特工並非擁有最多工具的特工。正是權限最窄的那個人，才讓它完成了這項工作。 工具誤用和混亂的代理人風險 代理通常充當使用者和工具之間的中介。如果代理的權限比使用者高，攻擊者可以嘗試誘騙代理執行攻擊者無法直接執行的操作。這是一個典型的由人工智慧工作流程表達的混亂代理人問題。 記憶和情境中毒 持久化記憶很有用，因為它能讓代理人保持連續性。這樣做也有風險​​，因為損壞的記憶體可能會影響以後的會話。記憶體條目需要來源、保留規則、審查路徑以及隔離或刪除不良上下文的方法。 供應鍊和插件妥協 代理系統依賴框架、插件、工具、檢索來源、提示、連接器、MCP 伺服器和模型端點。篡改的工具、偽造的軟體包、被污染的知識庫或被破壞的連接器可以將惡意指令或不安全的資料輸入到代理程式的工作流程中。 多智能體級聯 多智能體系統會增加協調風險。一個代理人可能會將錯誤的假設傳遞給另一個代理；一個受損的工具輸出可能會成為後續多個行動的起點。代理人之間相互委託的越多，設計明確的信任邊界就越重要，而不是假設每個內部代理人都是安全的。 審計性和問責差距 如果一個團隊無法重現代理人所看到、決定、呼叫、更改和升級的內容，那麼它就無法管理該系統。代理日誌需要記錄操作鏈，而不僅僅是最終結果。這對於受監管的工作流程和高影響力決策尤其重要。 智能體人工智慧安全的核心控制 威脅控制映射 重要的架構和參考資料 目前還沒有一個標準能夠完全定義智能體人工智慧的安全性。這個類別仍在形成中，因此團隊通常需要將AI 風險管理、應用程式安全、身分安全和新興的代理特定指導結合起來。 如何決定合適的自主程度 並非每項行動都需要同等程度的控制。正確的問題是：如果這種做法是錯的，會發生什麼事？影響較小、可逆的操作通常可以透過自動化檢查來執行。影響重大或不可逆轉的行動應獲得批准、更嚴格的日誌記錄和更嚴格的權限控制。 一個實用的自主性模型會考慮四個因素：影響力、可逆性、資料敏感度和特權等級。在測試工單佇列中重設草稿狀態與停用生產帳戶、轉帳、變更防火牆策略或透過電子郵件傳送客戶資料是不同的。智能體人工智慧安全是一門認真對待這些差異的學科。 智能體人工智慧作為安全工具 智能體人工智慧不僅僅是安全團隊需要防禦的對象。它還可以支援安全運作。代理可以對警報進行分類、總結事件證據、關聯日誌、起草回應步驟、建立工單或自動執行低風險的遏制任務。 但這並不意味著它們可以免受管制。防禦代理可能擁有對敏感遙測資料、終端操作、身分識別系統或雲端資源的存取權限。智能體的作用越大，限制和監控它的行為就越重要。 結論 智能體人工智慧安全問題之所以存在，是因為人工智慧系統正在從提供建議轉向採取行動。一旦模型能夠使用工具、保存記憶體、呼叫 API 並協調跨系統的工作，安全性就必須更接近執行層面。持久有效的方法是結構性的：賦予代理不同的身份，限制權限，驗證工具，保護內存，記錄每一個有意義的步驟，並在操作過於敏感而無法盲目自動化時要求人工批准。在智能體系統中，信任不是模型一次就能獲得的。每次代理人嘗試採取行動時，都必須進行檢查。
2m read
Read More
ISO 27001 Certified
SOC2 Approved
GDPR Compliant
Copyright © 2026. All rights reserved.