應用中的人工智慧安全：定義、威脅與控制

人工智慧引發了一系列監管合規問題，從使用敏感和受保護的資料來訓練人工智慧模型，到未經授權使用人工智慧來支援業務關鍵型工作流程。影子人工智慧（員工使用未經授權的人工智慧工具開展業務）的成長加劇了這個問題，因為公司難以保持可見度並執行公司安全政策。 人工智慧的應用只會不斷擴大，因此安全團隊的重點應該放在確保這種應用的安全性和合規性。為此，團隊需要安全架構來管理和監控 AI 的使用情況，產生審計跟踪，並降低與 AI 相關的安全事件的風險。 主要亮點 人工智慧監管合規性是一個安全問題。 員工使用人工智慧（包括內部工具和第三方工具）會為企業帶來各種風險。人工智慧通常可以廣泛存取企業系統和數據，從而引發人們對數據存取和處理的擔憂。安全團隊需要了解人工智慧的使用情況，並有能力執行公司政策來管理網路風險和遵守監管規定。 隨著人工智慧日益普及，監管機構越來越期望各組織機構制定相應的政策和控制措施來管理與人工智慧相關的風險，例如： 安全團隊負責實施滿足監管要求所需的政策、工具和安全控制措施。因此，安全團隊必須將人工智慧安全融入其整體合規策略中。 日常人工智慧使用會帶來哪些合規風險？ 日常人工智慧使用可能會帶來安全、隱私和合規風險。常見例子包括： 這些類型的風險在安全領域並不新鮮，但人工智慧由於其廣泛應用、有限的可審計性和更高的自主性，加劇了這個問題。安全團隊需要確保現有的資料保護、存取管理、活動日誌記錄和策略執行控制及策略能夠有效地擴展到人工智慧的使用領域。 對安全團隊而言，哪些人工智慧合規主題最為重要？ 眾多法律法規對人工智慧的使用和合規性都有影響。雖然歐盟人工智慧法案最為著名，但 GDPR、CCPA/CPRA、PCI DSS 和 HIPAA 等資料保護法律也對人工智慧的使用方式及其存取的資料進行控制。NIST AI RMF 等框架為組織如何實施安全合規的 AI 安全計畫提供了指導。 由於安全團隊負責保護應用程式和資料以及執行公司政策，因此人工智慧監管合規的重擔往往落在他們身上。需要考慮的一些關鍵因素包括透明度、資料保護、問責制、存取治理、監控和可審計性。 資料保護法規影響人工智慧合規性 人工智慧系統需要存取大量可能包含敏感資訊的資料才能完成工作。這包括訓練資料和使用者可能作為提示提交的資訊。 這會帶來重大的合規性問題，因為組織需要控制： 回答這些問題需要全面的 AI 應用可見性、資料分類和標註、資料遺失防護 (DLP) 、嚴格的存取控制和持續監控。如果組織由於影子人工智慧或應用程式可見性有限而無法看到正在使用的工具以及用戶正在向他們提供的數據，那麼他們可能難以遵守監管規定，並且面臨更大的資料外洩和類似安全事件的風險。 日誌記錄和可審計性對於人工智慧合規性的重要性 人工智慧系統本質上是不透明的。對於大多數生產工具使用的不可解釋人工智慧模型，不可能確定模型是如何得出特定決策的。 因此，要維護審計追蹤和問責制，就需要清楚記錄人工智慧的使用情況，包括其輸入和輸出。這些數據對於支援事件回應、合規性審計、控制驗證以及組織必須捍衛 AI 工具決策的任何其他任務都至關重要。隨著人工智慧的應用日益廣泛，並分散到各種工具中，組織需要集中式解決方案來收集、管理和保留這些審計日誌。 人工智慧監理合規的關鍵控制措施 人工智慧監管合規需要具備監控人工智慧使用情況和執行公司相關政策的能力。此外，安全團隊需要能夠透過持久、全面的稽核日誌來證明其符合適用的法規。 AI應用清單與監控 安全團隊只能保護和管理他們已知的 AI 工具。如果組織不主動進行 AI 應用發現並產生完整的 AI 應用清單，那麼影子 AI 將為組織帶來重大的安全和合規風險。 有了這種可見性，組織就可以著手追蹤已知人工智慧應用程式的使用模式和資料流動。全面了解 GenAI 應用的使用情況對於防止敏感資料可能洩露給組織內外的未經授權的各方至關重要。...

資料投毒是指對人工智慧或機器學習系統學習所使用的資料進行蓄意攻擊。攻擊者不會直接攻擊即時應用程序，而是破壞資料集、標籤集、檢索語料庫或訓練管道，使模型學習錯誤的模式，並在之後以符合攻擊者目標的方式運行。 這就是為什麼資料投毒對安全和人工智慧團隊來說難以防範的原因。損害可以在任何人看到模型輸出結果之前很久就造成。被污染的模型在標準測試中可能看起來正常，透過廣泛的準確性檢查，但在攻擊者關心的具體情況下仍然會失敗。 簡短定義：資料投毒是指故意操縱訓練、微調、標記或檢索數據，使人工智慧系統學習到被破壞的行為。 資料投毒的工作原理 大多數投毒攻擊都遵循相同的基本模式，即使技術細節會因模型類型或資料來源而異。 攻擊者通常不需要存取最終部署的應用程式。如果他們能夠影響上游數據，他們就有可能在不觸及生產環境的情況下影響最終模型。 它與意外資料損壞有何不同 錯誤數據很常見。檔案損壞、標籤錯誤、來源漂移、重複檔案混入，以及邊緣情況被忽略。這些都是數據品質問題。資料投毒與一般資料投毒不同，因為資料投毒是故意的、對抗性的。 這種區別會改變人們的反應。意外損壞通常透過品質檢查、驗證和清理來處理。資料投毒需要安全意識：溯源、存取控制、威脅建模、稽核追蹤、異常偵測，以及假設某些輸入可能是惡意的。 資料投毒攻擊的類型 投毒攻擊通常根據攻擊者的目標進行分類。有些人從整體上降低了模型的性能。有些測量結果較為精確，因此更難被注意到。 標籤翻轉攻擊 標籤翻轉攻擊是指攻擊者更改選定訓練樣本的標籤。垃圾郵件被標記為合法郵件。欺詐行為被標記為正常行為。惡意樣本被標記為安全。然後，模型學習到了輸入和輸出之間的錯誤關係。 後門或木馬攻擊 後門攻擊使模型在大多數情況下表現正常，但在觸發條件出現時失效。觸發因素可能是影像中的視覺標記、文字中的短語、檔案中的模式，或是攻擊者控制的其他訊號。BadNets 透過展示模型如何在保持強大而乾淨的性能的同時攜帶隱藏的後門，幫助人們了解了這類攻擊。 定向投毒 定向投毒會改變模型對特定輸入的行為，同時基本上保持其整體表現不變。這是防禦者最擔心的版本，因為普通的儀表板可能顯示整體準確率良好，但模型在某個狹窄的高價值案例上卻悄悄出錯。 可用性攻擊 可用性攻擊則不那麼隱蔽。目標是大幅降低模型效能，使系統變得不可靠或無法使用。這些攻擊比有針對性的投毒攻擊更容易被發現，因為這種攻擊的失敗在許多案例中都顯而易見。 RAG系統中的檢索中毒 現代 LLM 應用通常使用檢索增強生成（RAG），其中模型在回答問題之前會諮詢外部知識庫。這會形成另一個中毒表面。如果惡意文件進入檢索語料庫，模型可能會稍後檢索該文件並將其視為可信上下文。 最近針對 SilentRetrieval 等攻擊的研究表明，這很重要：被污染的文件可以寫得看起來流暢且相關，使得簡單的品質檢查成為薄弱的防御手段。對於 RAG 系統，資料集不僅僅是原始訓練集。它也是模型在推理時讀取的知識庫。 中毒可能進入人工智慧生命週期的哪個環節 一個常見的錯誤是認為中毒只會在模型訓練期間發生。實際上，污染幾乎可以進入任何收集、標記、移動、轉換或檢索資料的地方。 這種生命週期視角很重要，因為僅在訓練階段部署的防禦措施會錯過先前發動的攻擊。RAG 又造成了另一個漏洞：攻擊可以在部署後透過模型檢索到的材料進入。 為什麼資料投毒難以檢測 最猛烈的投毒攻擊旨在使模型看起來健康。整體準確率可能不會下降。驗證測試可能通過。只有當存在觸發器、目標類別或特定輸入模式時，才會出現中毒行為。 這就是為什麼研究案例很有用，但需要仔細解讀的原因。後門研究表明，模型在乾淨的輸入上可能表現良好，但在觸發的輸入上可能表現不佳。RAG 投毒實驗表明，惡意檢索文件很難透過簡單的流暢性或困惑度檢查來標記。實際的教訓不是說檢測是不可能的；而是說僅僅檢測是不夠的。 警告信號可能包括： 資料投毒與其他相關威脅有何不同 資料投毒屬於對抗性人工智慧這一更廣泛的領域，在這個領域中，類似的術語經常被隨意使用。最清晰的差異在於時機：資料投毒會破壞系統學習到的資訊；許多其他攻擊會操縱系統在使用過程中的行為。 簡而言之：資料投毒發生在學習之前或學習期間，而提示注入和對抗樣本則發生在使用期間。 如何預防和緩解數據中毒 由於一旦模型從被污染的資料中學習，清理工作就變得困難，因此最好的防禦措施是從訓練之前開始，並貫穿整個部署過程。目標是使數據影響可見、可控，並在可能的情況下可逆。 訓練 在培訓和評估期間 對於 RAG 和 LLM 系統 實際原理很簡單：資料中毒既是資料治理和供應鏈問題，也是模型安全問題。它利用薄弱的來源、寬鬆的存取權限、糟糕的審查和不可信的輸入，比利用奇特的模型架構缺陷更為常見。 數據中毒與法律 資料投毒的法律地位取決於事實：意圖、授權、管轄權、受影響的系統以及造成的損害。未經授權幹擾系統或資料集可能會根據電腦濫用、詐欺、合約、智慧財產權或特定行業規則承擔刑事或民事責任。 此外，也有人專門討論故意更改自己的公開內容，導致未經許可抓取這些內容的模型學習到退化的模式。有人認為這是對未經授權的網路抓取行為的自衛；也有人認為這仍然會帶來法律和營運風險。這個問題尚未有定論，因此各組織應將其視為法律審查問題，而不是純粹的技術策略。 常見問題解答...

隨著企業在企業安全營運和 IT 工作流程中部署人工智慧模型、副駕駛和自動化系統，人工智慧的日益普及為企業帶來了新的安全風險。人們越來越信任人工智慧工具，並相信它們能夠對 IT 資源管理和應對潛在攻擊做出關鍵決策。 人工智慧系統是很有用的工具；但是，它們並不完美。人工智慧系統可能會犯錯，並且可能成為旨在操縱它們及其決策的攻擊目標。了解與人工智慧相關的風險對於實施安全控制和治理政策來管理這些風險至關重要。 人工智慧安全問題涵蓋哪些類型的風險？ 人工智慧工具存在一系列潛在的安全隱患。其中最嚴重的三種情況是：攻擊者操縱人工智慧模型、精心設計的提示誘使人工智慧工具做出錯誤決策，以及人工智慧工具中的資料外洩。 模型中毒和錯誤訊息注入 人工智慧模型透過輸入訓練資料進行訓練，並允許它們從該資料集中提取資訊和模式。一般來說，人工智慧模型的品質取決於提供給它的資料的品質。攻擊者可以利用這一點，透過篡改訓練資料來引入錯誤訊息，無論是在初始訓練期間還是在持續學習期間。這樣做，他們可能會改變底層模型，從而做出錯誤的決策，並可能導致誤報或漏報。 大多數人工智慧模型都無法解釋，因此很難確定它們是如何得出特定結論的，以及這種思考過程是否正確。因此，在將訓練資料編碼到模型之前，識別並過濾掉不正確或損壞的訓練資料對於管理此風險至關重要。 模型操作和提示注入 模型操縱和提示注入攻擊的目標是生產環境中的人工智慧系統，試圖引導它們做出錯誤的分類或提供錯誤的建議。這些攻擊涉及攻擊者濫用他們對模型工作原理的理解，從而創建導致 AI 模型出現意外結果的提示。 借助人工智慧，輸出結果會根據提示的細節和其他因素（例如輸出的溫度（所需隨機性的程度））而有很大差異。利用這一事實，攻擊者可能能夠識別並利用人工智慧防護措施中的漏洞，或迫使人工智慧模型進入不希望的狀態。 資料外洩和敏感資訊洩露 人工智慧系統通常需要存取高度敏感的訊息，這是它們為企業帶來效益的關鍵。有些資料存取可能是故意的，但員工也可能將敏感資訊輸入或複製並貼上到內部和外部的 AI 工具中。 對敏感資料的這種存取會帶來資料外洩的風險，洩漏途徑包括日誌、訓練工件、管理不善的聊天介面以及人工智慧系統的持續訓練。組織應管理人工智慧對敏感資料的訪問​​，並實施資料遺失防護 (DLP)，以確保符合監管要求。 人工智慧安全問題如何影響安全營運中心的工作流程？ AI 工具透過協助自動化和簡化警報分類和關聯、事件調查和報告，日益支援安全營運中心 (SOC) 的工作流程。雖然這些工具可以幫助減少噪音，但它們也可能出錯，忽略重要資訊或做出錯誤的決定。因此，人工智慧應該用來提高人類分析師的效率，而不是完全用自動化取代他們。 借助人工智慧副駕駛支援加速分診 對於安全營運中心 (SOC) 團隊而言，人工智慧助理可以作為輔助工具，總結警報、推薦後續步驟並支援調查。這減少了與事件分類和調查相關的工作量，並縮短了平均回應時間 (MTTR)。 副駕駛非常適合處理眾所周知的常見情況，例如大量具有明確模式的重複警報。副駕駛可以識別出偏離這種模式的跡象，這些跡象表明存在潛在威脅，同時過濾掉其餘的噪音。然而，當組織面臨罕見的、影響巨大的事件時，副駕駛就不太合適了。在這些情況下，即使是很小的細節對於正確的威脅分類和應對也很重要，但可能會被人工智慧副駕駛意外過濾掉或概括掉。 分析師過度依賴和決策偏差 AI 副駕駛是很有用的工具，分析師可能會隨著時間的推移而對其產生依賴。如果未經適當審查就接受和批准人工智慧建議，這將變得非常危險，尤其是在分析師面臨時間壓力的情況下。 由於虛假指標、嚴重性分類錯誤以及缺乏有關組織環境的重要背景訊息，人工智慧安全工具可能會產生錯誤的建議。一旦人工智慧建構了敘事框架，人類分析師可能會在無意識中受到確認偏誤的影響，尋找支持該理論的證據，而不是試圖確定真正的根本原因。雖然人工智慧可以幫助簡化回應流程，但其建議不應被視為 100% 準確。 哪些治理控制措施可以降低人工智慧安全隱憂？ 利用人工智慧漏洞需要攻擊者與人工智慧訓練資料或生產模型進行互動。強有力的治理可以透過控制對敏感資源的存取和監控互動以發現可疑或惡意活動的跡象，幫助緩解人工智慧安全問題。 存取控制和策略執行 強大的存取控制是人工智慧安全策略的基礎，它將對人工智慧資料來源和工具的存取限制在授權使用者範圍內。基於角色的存取控制 (RBAC) 透過根據使用者在業務中履行其角色所需的權限來分配存取權限來實現這一點。 存取控制可以透過策略來加強，這些策略定義了合法使用者可以使用人工智慧工具執行哪些操作。這包括限制可以輸入人工智慧工具的資料類型，從而降低潛在資料外洩的風險和影響。 監測和行為評估 除了防止人工智慧系統面臨威脅外，組織還需要具備偵測和修復這些威脅的能力。因此，記錄與 AI 建議相關的提示、回應和關鍵決策對於提供事件調查和回應所需的數據至關重要。 應監控這些日誌，以發現可疑的異常或模式，例如嘗試提示注入或異常資料存取。此外，企業應定期根據已知的測試案例評估模型行為，以識別模型漂移，並進行紅隊演練以檢測潛在的可利用弱點。 哪些企業場景會增加風險敞口？ 在人工智慧在業務中扮演重要角色，在自動執行關鍵或高風險活動（例如事件回應工作流程、面向客戶的工具或身分和存取管理 (IAM)）的情況下，人工智慧安全風險最大。對於人工智慧的未知用途（例如影子人工智慧），風險也會增加，因為員工在沒有適當授權或管理的情況下使用人工智慧工具。 高影響力自動化管道...

基於人工智慧的加密流量分析利用人工智慧來識別可疑或惡意加密網路流量。這通常是透過分析加密網路流量的未加密屬性來實現的，而對有效載荷進行最小程度的解密或完全不解密。 加密網路流量已成為增強線上隱私和安全的一種越來越普遍的手段。根據Google透明度報告， Google和其他組織大力推動使用加密網路協議，如今超過 95% 的網路流量都已加密。雖然這對網路隱私來說是件好事，但它限制了這些網路流量的安全可見性，可能會使組織容易受到惡意軟體和其他威脅的攻擊。 AI 模型可以檢查加密流量的元資料、行為和流量模式，以分析與這些流量相關的潛在風險。作為整合 SSE 或SASE架構的一部分，基於 AI 的加密流量分析可以透過減少對網路流量進行資源密集型解密的需求來增強網路效能和安全性。 為什麼加密流量會造成安全盲點 傳輸層安全性協定 (TLS) 是一種網路協議，它將不安全的協定封裝在加密的包裝器中，​​以實現機密性和身份驗證。使用 TLS 進行網路流量加密已成為普遍做法，提高了線上隱私。然而，流量加密技術的日益普及也讓攻擊者受益，他們試圖將惡意內容隱藏在加密流量中。包含惡意軟體、命令和控制流量以及資料外洩的網路流量可能對安全工具不可見，並隱藏在合法流量中。 許多安全工具依賴分析網路流量有效載荷的能力，而 TLS 會對網路流量進行加密。因此，流量加密的日益普及造成了嚴重的安全盲點。 傳統以解密為中心的方法是如何運作的？ 傳統上，企業透過對網路流量進行解密和檢查來應對網路流量加密帶來的挑戰。這可以透過多種方式實現，例如使用網路代理、本地設備或雲端網關。這種管理加密網路流量的方法可以深入了解網路流量。透過解密整個有效載荷，安全設備可以對其全部內容進行掃描，以查找潛在的惡意內容。 然而，完全解密流量也有其優點和缺點。完全解密流量需要大量的運算資源，並且會為連線帶來額外的延遲。此外，它還要求組織打破使用企業 SSL 憑證的傳統 TLS 範式，這會帶來安全風險和使用者隱私方面的擔憂。 什麼是基於人工智慧的加密流量分析？ 基於人工智慧的加密流量分析透過關注流量中未加密的部分來解決與加密網路流量相關的挑戰。封包元資料（例如 IP 位址和封包大小）以及流量特徵可以提供線索，幫助區分合法網路流量和惡意網路流量。這些系統收集和分析的高品質遙測數據越多，得出的結論就越準確。 基於人工智慧的加密流量分析系統可以使用各種模型來偵測潛在的惡意流量。監督式機器學習 (ML) 可用於偵測已知的惡意流量模式，而無監督式機器學習和異常偵測有助於識別新的行為。 由於加密流量分析不會解密有效載荷，因此它既能保護用戶隱私，又能識別可能存在風險和可疑的連接。這樣一來，安全設備就可以選擇性地解密和檢查被識別為風險最高的 TLS 會話。 加密流量分析如何保護隱私 加密流量分析著重於分析元數據，包括流量持續時間、資料包大小、時間、TLS 握手功能、SNI 和憑證屬性。由於此資訊的敏感度低於資料包有效載荷，因此在 TLS 會話中不會對其進行加密。這些工具透過避免解密包含使用者會話資料的資料包有效載荷，來保護使用者隱私。 人工智慧如何在不解密的情況下偵測加密流量中的威脅？ 人工智慧可以分析流量元數據，以檢測常見的惡意網路流量形式，例如命令和控制流量、資料外洩和橫向移動。人工智慧可以識別加密流量中的一些關鍵模式包括： 這些指標可用於識別企業環境中可能存在的惡意流量。這些網路流量可以被入侵防禦系統 (IPS) 和反惡意軟體引擎標記出來進行解密，從而平衡安全性、隱私性和效能。 人工智慧功能和模型應用範例 基於人工智慧的加密流量分析解決方案可以利用各種功能來識別惡意流量。其中包括： 基於人工智慧的工具可以採用監督學習或非監督學習來識別威脅。監督模型透過標記惡意/良性流量進行訓練，以識別已知威脅；而無監督模型則透過發現與「正常」行為的偏差來檢測新型威脅。此外，一些平台還將威脅情報來源和基於規則的邏輯與人工智慧結合。 哪些TLS握手和流程屬性最重要？ TLS 握手用於協商 TLS...

智能體人工智慧安全是指保護能夠在有限的人工監督下進行規劃、使用工具、存取資料和採取行動的人工智慧系統。關鍵在於執行。聊天機器人可能會給出錯誤答案；而客服人員可以更新工單、呼叫 API、更改配置、查詢資料庫、發送訊息或觸發工作流程。 這就改變了安全問題。僅僅詢問模型是否能被欺騙而產生不安全的文字已經不夠了。團隊還需要了解代理商被允許做什麼、使用什麼身分、可以使用哪些工具、可以存取哪些資料、何時需要手動批准操作，以及是否可以在以後重建完整的操作鏈。 智能體人工智慧安全定義 智能體人工智慧是指能夠透過多個步驟實現目標的人工智慧系統。系統可以將工作分解成子任務，讀取外部內容，使用內存，調用工具，與其他代理協調，並決定下一步要做什麼，而無需人批准每一個步驟。 智能體人工智慧安全機制保護了這種運作模式。它包括用於驗證代理、限制權限、驗證工具呼叫、將可信任指令與不可信內容分開、保護記憶體和上下文、監控運行時行為以及在不安全操作成為真實系統的實際更改之前阻止它們等控制措施。 智能體人工智慧與智能體人工智慧安全 這兩個詞很容易混淆，但它們描述的是不同的事物。智能體人工智慧是一種能力。智能體人工智慧安全是圍繞該能力的控制系統。 智能體人工智慧安全與LLM安全有何不同？ LLM 和生成式AI 的安全性仍然至關重要。當系統具有代理能力時，快速注入、越獄、敏感資料外洩、不安全輸出、模型濫用和供應鏈風險並不會消失。由於該模型現在與工具、憑證和業務流程相連，因此它們變得更加重要。 差別在於爆炸半徑。在基本的聊天體驗中，攻擊者可能會得到誤導性的答案或在回覆中洩漏訊息。在代理工作流程中，同樣的操作可以變成工具呼叫、檔案變更、帳戶更新、外部電子郵件，或是跨多個系統的一系列操作。 智能體人工智慧攻擊面 思考智能體人工智慧安全性的一個有效方法是追蹤從指令到行動的路徑。該模型只是這條道路的一部分。 指令和模型層：此模型解讀目標並決定下一步。直接提示、間接提示注入、惡意檢索的內容以及不安全的工具輸出都可能影響該決定。 記憶體和上下文層：代理通常會保留任務記錄、使用者偏好、檢索到的事實、嵌入或摘要。如果這一層被污染，代理人可能會將錯誤的假設帶入未來的工作中。 工具和API層：每次工具呼叫都會建立一個邊界，在這個邊界內，輸入、輸出、權限、速率限制和業務規則都需要遵守。功能強大的工具、連接器或 MCP 伺服器，如果驗證機制薄弱，可能會將糟糕的計劃變成真正的事故。 身分和權限層：代理人需要具備相應的資格才能開展工作。如果這些憑證範圍廣、有效期長，或是繼承自人類用戶，那麼該代理人就可以成為進入組織的高價值途徑。 編排層：這是圍繞著該模型的規劃、路由、委派和工作流程邏輯。在多智能體系統中，編排層也負責管理智能體之間的切換和信任。 運行時和環境層：代理程式在此處對文件、應用程式、雲端資源、程式碼、訊息、資料庫和生產系統進行操作。此處的控制措施決定了錯誤或洩漏事件的傳播範圍。 主要威脅類別 即時注射和目標劫持 當某種藥物能夠發揮作用時，立即註射會變得更加危險。隱藏在網頁、文件、支援工單、電子郵件或工具回應中的惡意指令可以引導代理偏離使用者的目標。實際問題不僅在於答案會改變。也就是說，代理可能會呼叫錯誤的工具、洩漏數據，或執行使用者從未打算執行的任務。 過度授權和過度許可 當一個智能體能夠完成的任務超出其所需時，它就具有過度自主性。這可能意味著工具過多、憑證範圍過廣、沒有審批門、速率限製過弱，或者工作完成後存取權限仍然有效。最安全的特工並非擁有最多工具的特工。正是權限最窄的那個人，才讓它完成了這項工作。 工具誤用和混亂的代理人風險 代理通常充當使用者和工具之間的中介。如果代理的權限比使用者高，攻擊者可以嘗試誘騙代理執行攻擊者無法直接執行的操作。這是一個典型的由人工智慧工作流程表達的混亂代理人問題。 記憶和情境中毒 持久化記憶很有用，因為它能讓代理人保持連續性。這樣做也有風險​​，因為損壞的記憶體可能會影響以後的會話。記憶體條目需要來源、保留規則、審查路徑以及隔離或刪除不良上下文的方法。 供應鍊和插件妥協 代理系統依賴框架、插件、工具、檢索來源、提示、連接器、MCP 伺服器和模型端點。篡改的工具、偽造的軟體包、被污染的知識庫或被破壞的連接器可以將惡意指令或不安全的資料輸入到代理程式的工作流程中。 多智能體級聯 多智能體系統會增加協調風險。一個代理人可能會將錯誤的假設傳遞給另一個代理；一個受損的工具輸出可能會成為後續多個行動的起點。代理人之間相互委託的越多，設計明確的信任邊界就越重要，而不是假設每個內部代理人都是安全的。 審計性和問責差距 如果一個團隊無法重現代理人所看到、決定、呼叫、更改和升級的內容，那麼它就無法管理該系統。代理日誌需要記錄操作鏈，而不僅僅是最終結果。這對於受監管的工作流程和高影響力決策尤其重要。 智能體人工智慧安全的核心控制 威脅控制映射 重要的架構和參考資料 目前還沒有一個標準能夠完全定義智能體人工智慧的安全性。這個類別仍在形成中，因此團隊通常需要將AI 風險管理、應用程式安全、身分安全和新興的代理特定指導結合起來。 如何決定合適的自主程度 並非每項行動都需要同等程度的控制。正確的問題是：如果這種做法是錯的，會發生什麼事？影響較小、可逆的操作通常可以透過自動化檢查來執行。影響重大或不可逆轉的行動應獲得批准、更嚴格的日誌記錄和更嚴格的權限控制。 一個實用的自主性模型會考慮四個因素：影響力、可逆性、資料敏感度和特權等級。在測試工單佇列中重設草稿狀態與停用生產帳戶、轉帳、變更防火牆策略或透過電子郵件傳送客戶資料是不同的。智能體人工智慧安全是一門認真對待這些差異的學科。 智能體人工智慧作為安全工具 智能體人工智慧不僅僅是安全團隊需要防禦的對象。它還可以支援安全運作。代理可以對警報進行分類、總結事件證據、關聯日誌、起草回應步驟、建立工單或自動執行低風險的遏制任務。 但這並不意味著它們可以免受管制。防禦代理可能擁有對敏感遙測資料、終端操作、身分識別系統或雲端資源的存取權限。智能體的作用越大，限制和監控它的行為就越重要。 結論 智能體人工智慧安全問題之所以存在，是因為人工智慧系統正在從提供建議轉向採取行動。一旦模型能夠使用工具、保存記憶體、呼叫 API 並協調跨系統的工作，安全性就必須更接近執行層面。持久有效的方法是結構性的：賦予代理不同的身份，限制權限，驗證工具，保護內存，記錄每一個有意義的步驟，並在操作過於敏感而無法盲目自動化時要求人工批准。在智能體系統中，信任不是模型一次就能獲得的。每次代理人嘗試採取行動時，都必須進行檢查。