2m read

什麼是人工智慧治理工具？

內容有哪些？

AI 治理工具是幫助組織集中製定、管理和執行跨資料、模型、代理和應用程式的 AI 使用策略的平台。隨著人工智慧（包括自主代理、GenAI 和嵌入 SaaS 工具中的人工智慧功能）的使用日益增多，各組織面臨著不斷擴大的安全風險，這些風險必須透過治理政策和安全控制來管理。

人工智慧治理工具的角色不是取代政策，而是透過自動化、監控和技術控制來實施和執行政策。這些解決方案充當了組織高層人工智慧治理和安全目標與這些目標在日常運作中的實施和執行方式之間的橋樑。

人工智慧治理工具如何融入企業人工智慧策略？

隨著組織從與 GenAI 聊天機器人互動轉向將自主 AI 嵌入關鍵工作流程，AI 治理變得比以往任何時候都更加重要。實施負責任的人工智慧原則需要深入了解組織對人工智慧的使用情況，以及如何實施防護措施和安全控制，以便在日常工作中落實這些原則。

AI治理工具幫助組織從高層政策和目標過渡到執行這些政策和目標的技術控制措施。這些解決方案應該與企業現有的風險、合規和安全流程相整合，而不是作為另一個獨立的、孤立的點解決方案。

人工智慧治理工具在人工智慧治理專案中的應用

人工智慧治理工具並不能取代製定治理方案的責任。相反，它們提供支援和執行這些規定所需的能力和工具，包括：

發現
政策執行
監測
報告

這些能力對於董事會和高階主管層面的 AI 監督至關重要，能夠彌合高層政策文件與可衡量的控制和指標之間的差距。

人工智慧治理工具可以幫助解決哪些問題？

AI治理工具幫助組織實施全面的政策，以應對其所有AI使用情況。他們幫助解決的關鍵挑戰包括：

可視性差距：人工智慧解決方案的多樣性（GenAI、智慧體、人工智慧驅動的SaaS工具等）使得人工智慧的監控和管理變得複雜。
影子人工智慧：未經授權使用人工智慧工具可能會對資料安全和穩定性以及關鍵工作流程的安全性造成風險。
資料外洩：GenAI 和 SaaS 工具可能會將敏感資料外洩給未經授權的第三方。
不合規的人工智慧使用：不遵守企業人工智慧和安全政策可能會導致組織違反 GDPR、CCPA 和歐盟人工智慧法案。

管理影子人工智慧和未經批准的人工智慧工具

「影子人工智慧」指的是未經授權使用人工智慧工具。這包括 GenAI 聊天機器人、AI 編碼助理、具有 AI 功能的 SaaS 解決方案、自主代理和其他解決方案。

未經批准使用這些工具會為企業帶來重大的資料安全和監管合規風險。AI 治理工具可以幫助自動發現企業內部正在使用的 AI 工具，分析其使用情況，並提供資料來幫助制定管理決策，例如根據策略阻止、限製或引入這些工具。

降低資料外洩和隱私風險

不受監管的人工智慧使用可能會以各種方式洩露敏感的企業資料。使用者可能會在提示或訓練數據中包含公司或客戶數據，而人工智慧系統可能會產生內容或採取操作，從而將敏感資訊暴露給未經授權的使用者。

AI治理工具可以透過監控流入和流出AI系統的資料流來幫助管理這種風險。這使得該組織能夠過濾掉敏感數據，並符合 GDPR、CCPA 和歐盟人工智慧法案等資料保護要求。

支持監管、道德和內部政策合規

隨著人工智慧應用的日益普及，監管機構正在實施可審計的控制措施要求，以應對人工智慧可能帶來的潛在威脅。這包括資料外洩、輸出結果偏差以及業務關鍵型工作流程中斷的可能性。

遵守歐盟人工智慧法案和美國國家標準與技術研究院人工智慧風險管理框架需要深入了解和控制人工智慧系統的行為。AI 治理工具可以幫助集中管理證據、日誌和政策映射，供法律、風險和審計團隊在評估期間使用。

現代人工智慧治理工具的核心能力有哪些？

AI治理工具旨在幫助企業克服將高階政策目標轉化為技術控制的挑戰。實現這一目標的方法可能各不相同，但整合人工智慧治理解決方案都具備一些核心功能，包括發現、分類、策略定義、執行、監控、事件回應和報告。

人工智慧與數據資產發現

人工智慧和數據資產發現對於解決組織面臨的影子人工智慧和可見性挑戰至關重要。如果不清楚組織如何使用人工智慧，就不可能確保其安全性並使其符合合規性要求。

AI 發現解決方案將自動識別企業內的 AI 模型、推理端點、AI SaaS 應用、AI 代理以及為其提供資料來源，從而提供全面的工具管理清單和策略治理清單。然而，隨著組織對人工智慧的使用不斷發展，這些清單很快就會過時，因此持續發現對於保持最新的可見性至關重要。

政策制定、協調與執行

AI 治理工具集中管理組織的 AI 策略，降低因孤立的、獨立的安全工具而導致的策略和安全漏洞的風險。這些人工智慧治理平台維護著中央政策目錄，定義了誰可以使用哪些人工智慧系統、使用哪些資料以及在哪些限制下使用。

除了製定政策外，人工智慧治理平台還需要具備執行政策的能力。因此，平台需要與組織現有的安全堆疊進行深度整合。例如，作為SASE平台一部分部署的 AI 治理可以原生使用ZTNA 、 CASB 、DWG、 DLP和其他整合功能，以在整個企業 WAN 上強制執行企業 AI 策略。

人工智慧風險的監控、警報和報告

除了執行企業人工智慧政策外，人工智慧治理工具還應使組織深入了解其人工智慧風險敞口。這包括發現可疑的人工智慧使用情況、違反政策的行為以及偏離既定準則的情況。

例如，平台可能會針對提示中過於敏感的資料、對人工智慧代理的異常存取或標記為需要審查的不安全模型回應發出警報。這樣做可以讓企業在上游採取預防措施，例如進行額外的培訓或限制高風險使用者的存取權限。

AI策略即程式碼在實務上是如何運作的？

AI 政策即代碼實現了基礎設施即代碼 (IaaC) 的原則，用於 AI 政策和防護措施。在這種模式下，企業人工智慧策略以機器可讀格式定義，從而可以直接進行測試和部署。透過這種方式，DevSecOps 團隊可以對 AI 策略進行版本控制，將其納入 CI/CD 管道，並在部署前進行驗證。

將護欄編碼為機器可讀規則

將人工智慧策略實現為程式碼，意味著將人工智慧防護措施編寫成機器可讀的規則。關鍵要素包括：

允許的人工智慧服務
資料分類規則
模型存取策略
及時限制
區域合規性限制

將策略以程式碼形式實現有助於防止配置漂移，因為策略及其實作方式可能會出現差異。此外，由於無需將策略邏輯重新轉換為可執行的控制措施，程式碼樣本即可重新應用，因此人工智慧治理策略變得更加可重複。

將策略即程式碼整合到 DevSecOps 管線中

將 AI 策略以程式碼形式實現，可以將 AI 治理工具與現有的 DevSecOps 工作流程整合起來。這包括：

透過 CI/CD 管線部署策略
透過 Git 倉庫進行版本控制
政策有效性的自動化預發布測試

透過這種方式，安全和平台團隊可以確保在新軟體中更一致地執行企業人工智慧策略。此外，這是透過自動化檢查實現的，從而減少了人工審批，並降低了部署過程中的摩擦和額外開銷。

什麼是人工智慧治理框架？工具如何付諸實行？

AI 治理架構是組織 AI 治理的結構化模型，包括流程、角色和原則，例如 NIST AI RMF。AI治理工具可以幫助將政策、控制和指標與這些框架保持一致，從而簡化監管合規性。

將工具映射到 NIST AI RMF 和歐盟 AI 法案

人工智慧治理工具的各種功能通常與人工智慧治理框架的關鍵要素直接對應。例如，人工智慧使用情況的自動發現與 NIST AI RMF 的「治理」和「映射」功能一致，而風險評估和控制則是「衡量」和「管理」要素的一部分。透過使用這些工具，組織可以更輕鬆地識別和追蹤根據歐盟人工智慧法案和類似法規屬於較高風險類別的 AI 模型和用例。

安全、合規和業務所有者的角色治理

明確問責機制是任何人工智慧治理計畫的關鍵要素。AI治理工具可以幫助定義和管理關鍵利害關係人的RACI（負責、問責、諮詢和知情）式角色定義，包括：

安全主管
資料保護官
遵守
應用程式所有者
業務利害關係人

人工智慧治理的複雜性——需要深厚的技術知識以及對風險和適用法規的理解——往往使得協作方法優於自上而下的強制措施。透過明確角色分工，組織可以建立有效的治理方案，充分發揮所有相關方的優勢。

AI治理工具如何與網路、安全性和SASE控制整合？

SASE治理工具必須與組織的其他安全體系整合。他們需要存取身分、網路和資料保護功能，以執行公司政策並識別潛在的違規行為。

實施人工智慧治理最有效的方法之一是將其部署為整合的 SASE 平台的一部分。例如，將 AI 治理與 CASB 和 SWG 集成，使組織能夠監控和管理 AI 驅動的 SaaS 應用和 GenAI 聊天機器人的使用。

將人工智慧治理與SASE和SSE保持一致

SASE 和 SSE的一個主要優勢是，它們將網路和安全功能集中到一個基於雲端的單一平台。這種組合意味著所有 WAN 流量都通過 SASE PoP，從而使它們能夠檢查流量並根據身分、應用程式和資料類型強制執行 AI 策略。因此，該組織可以透過單一解決方案管理整個企業廣域網路的 AI 治理。

與 CASB、SWG、DLP 和 ZTNA 進行協調

AI 治理工具可以與整合到 SASE 中的各種工具（如 CASB 和SWG ）整合並共享策略和上下文。這使得這些工具能夠監控並阻止違反公司人工智慧政策的內容，同時也能將資料提供給人工智慧治理工具。

AI治理工具還可以與SASE融合安全堆疊的其他元素結合。例如，DLP 可以防止透過 AI 工具進行資料洩露，而 ZTNA 為 AI 服務實施最小權限存取控制。

關於人工智慧治理工具的常見問題解答

人工智慧治理工具和人工智慧安全工具有什麼區別？

AI治理工具和AI安全工具都是為了幫助管理組織對AI的使用，並使其與安全目標和合規性要求保持一致而設計的。然而，人工智慧治理工具著重於人工智慧使用過程中的政策、監督和控制，而人工智慧安全工具則著重於保護模型、資料和基礎設施免受資料外洩、模型竊取和提示注入等攻擊。雖然這些是不同的關注領域，但許多平台都將兩者結合在一起。

中小企業需要人工智慧治理工具嗎？

一個組織對人工智慧治理工具的需求，更取決於人工智慧的使用情況和風險，而不是取決於企業的規模。例如，在高度監管的行業或業務關鍵決策中大量使用人工智慧的組織，可能比沒有這些因素的組織更需要人工智慧。

人工智慧治理工具能否幫助企業遵守歐盟人工智慧法案？

是的，人工智慧治理工具可以幫助組織履行其在歐盟人工智慧法案下的合規責任。這些工具可以幫助識別組織對人工智慧的使用情況，對相關風險進行分類，並記錄為實現合規性所採取的控制措施。

AI治理工具與現有的GRC平台有何關聯？

AI 治理工具是現有 GRC 平台的補充，提供專注於應對 AI 相關挑戰和風險的功能。這包括添加 AI 特定的發現、策略和監控，而 GRC 平台則管理更廣泛的風險和審計計劃。

人工智慧治理工具是否僅適用於生成式人工智慧？

不，人工智慧治理工具應該解決組織面臨的全部人工智慧風險，即使全人類人工智慧通常是這些努力的最初重點。人工智慧治理的其他要素包括傳統機器學習模型、SaaS 中的嵌入式人工智慧和人工智慧代理。

企業該如何評估人工智慧治理工具？

AI治理工具能夠增強組織監控和管理其AI風險敞口的能力。然而，這些解決方案帶來的好處取決於其內建功能和部署模式。評估人工智慧解決方案時需要考慮的一些關鍵因素包括：

人工智慧資產和數據的覆蓋範圍
政策彈性
與現有安全堆疊集成
可擴展性
為審計和監管機構提供支援的報告。
與 NIST AI RMF 等公認框架以及即將出台的法規保持一致。
支援多雲和混合環境

人工智慧治理工具可以支援組織的治理工作，但它們本身並不是解決方案。它們是更廣泛的治理、風險和安全策略的重要組成部分，該策略必須包括政策、文化和架構。

This page was machine-translated. If you notice any inaccuracies or have feedback, please feel free to send it to us here.

提示詞注入

什麼是提示詞注入？

提示詞注入攻擊利用惡意且精心設計的查詢，誘騙大型語言模型（LLM）執行某些不當操作。例如，攻擊者可能會說服生成式 AI 系統忽略防護機制或企業政策，並產生未經核准的內容類型。隨著生成式 AI 和 AI 代理程式廣泛整合到企業工作流程中，提示詞注入攻擊對服務的可靠性和安全性構成了重大風險。攻擊者可以誘騙代理程式採取導致資料外洩、惡意軟體感染或其他安全事件的操作。重點摘要提示詞注入在實務上是如何運作的？大型語言模型（LLM）通常設有指令和防護機制來控制其運作方式。LLM 開發者會內建特定的安全防護措施，而企業在配置工具以執行環境內的各項任務時，也會加入自己的指令。提示詞注入攻擊使用精心設計的輸入，旨在規避這些防護機制並執行對攻擊者有利的操作，例如竊取敏感資料、產生違反政策的輸出，或觸發已連接工具中的操作。這些輸入可以直接提供給工具，或嵌入到它所使用的其他內容中，例如檢索增強生成（RAG）所擷取的文件，或是代理程式所造訪的網頁。直接提示詞注入直接提示詞注入涉及攻擊者與代理程式直接互動。例如，攻擊者可能會在 LLM 聊天機器人中輸入提示詞。這些惡意提示詞可能遵循各種模式，例如：這些指令的目標是讓攻擊者的提示詞優先於 LLM 的防護機制，無論是透過利用漏洞，還是讓 LLM 認為其更為重要。如果成功，LLM 可能會生成不被允許的內容、洩漏隱藏指令、提供不安全的建議，或將操作錯誤地導向至錯誤的工具或使用者。間接提示詞注入間接提示詞注入攻擊是將惡意指令插入模型所消耗的內容中，而非直接輸入指令。這些可能包括：如果大型語言模型（LLM）透過檢索增強生成（RAG）或瀏覽網頁來獲取潛在答案以存取外部內容，這些威脅會更加嚴重，因為檢索到的資料會被 LLM 視為上下文。惡意指令實際上可以隱藏在內容中，例如使用白色文字使指令對人類讀者不可見，或是使用模型會將其解釋為指令的看似無害的文字。提示詞注入攻擊的主要類型執行提示詞注入攻擊可以達成各種目標。其中兩種主要的攻擊類型，是試圖存取有關系統提示詞的敏感資訊，或是操縱 AI 的工具使用方式，以收集敏感資訊或執行有害操作。提示詞洩漏與系統提示詞提取有些攻擊旨在存取系統提示詞，其中可能包含敏感資料，例如隱藏的系統指令、政策或機密。這些資訊對攻擊者來說可能很有用，因為這讓他們能夠設計出規避這些防禦措施的後續攻擊。提示詞洩漏的可能性意味著機密絕不應嵌入在提示詞中。像「禁止揭露」指令這類的安全護欄，可能會被攻擊者規避或破解。工具與代理劫持 AI 工具可能具備呼叫函式或 API、瀏覽網際網路或觸發工作流程的能力。精心設計的提示詞可能允許攻擊者定義選擇哪些工具、發送給它們的參數，以及呼叫操作的順序。這帶來了一種風險，即攻擊者在呼叫工單系統、CRM、文件儲存庫、程式碼儲存庫或雲端控制台時，可能得以存取敏感資料。為了管理此風險，組織應實施最小權限存取控制，並針對高影響力的操作設置人機協作審核關卡，特別是針對在沒有人工監督下運作的 AI 代理。提示詞注入在企業環境中會出現在哪裡？提示詞注入攻擊可能發生在組織使用生成式 AI 的任何地方。常見的例子包括：即使使用者沒有直接與這些工具互動，提示詞注入仍然是一種風險。工具可以存取網頁內容、附件、貼上的日誌、第三方 SaaS 評論以及其他可能包含惡意指令的未受信任輸入。聊天機器人與客戶服務助理聊天機器人與客戶服務代理會接受來自未知使用者的自由格式文字輸入。成功的提示詞注入攻擊可能涉及操縱輸出內容以誤導客戶，若機器人有權存取 CRM 或訂單系統，還可能導致資料外洩。為了管理這些風險，組織應實施嚴格的資料範圍限制，盡可能遮蔽敏感資料，並針對敏感請求指定模板化回應。此外，應監控這些工具是否有潛在濫用的跡象，包括請求頻率、重複性以及負載相似度。 RAG...

2m read

AI 安全態勢管理

什麼是 AI 安全態勢管理（AI-SPM）？

AI 安全態勢管理（AI-SPM）是持續進行的實務，旨在發現、評估、優先排序並修復組織 AI 系統中的安全風險。它將 AI 模型、資料集、提示詞、嵌入、代理程式、服務帳號、API 與管線整合進與雲端及應用團隊已用於其他資產的持續安全態勢中。簡單來說，AI-SPM 幫助資安團隊回答一個出乎意料地困難的問題：AI 在企業中運行的哪個位置？它能接觸到哪些資料和系統？哪些風險需要優先修正？這很重要，因為 AI 已成為資產與攻擊面。模型可能包含有價值的智慧財產權。訓練與檢索資料可能會暴露敏感資訊。AI 代理可以呼叫工具、查詢資料庫並執行各種行動。只看到伺服器、桶和程式碼倉庫的態勢程式會忽略大部分這種風險。 AI-SPM 定義 AI-SPM 是一個安全學科，也是新興的工具類別，專注於 AI 系統的態勢。它持續識別 AI 資產，繪製其資料存取與執行時暴露地圖，偵測 AI 專屬的錯誤配置與威脅，並協助團隊在發現結果成為事件前進行修復。一個有用的定義是：AI-SPM 是持續管理跨 AI 模型、AI 資料、AI 應用、AI 代理及支援基礎設施的安全態勢。這個詞彙仍比 CSPM 或 DSPM 更新，因此組織應將其視為實用的操作模型，而非僵化的標準。不同廠商劃分類別的界線各不相同。然而，根本的需求很明顯：AI 系統需要庫存、所有權、風險管理、資料保護、模型完整性檢查、政策執行，以及治理所需的證據。為什麼傳統姿勢工具不夠用傳統的安全態勢工具仍然重要，但它們並非為了理解 AI 特定的情境而設計。CSPM 工具可以告訴你儲存桶是公開的。它可能不知道明晚的模特兒再訓練工作是用來餵養水桶的。DSPM 工具可以找到敏感資料。它可能不知道這些資料是否被用來微調模型，或模型是否會透過輸出洩漏部分資料。 AI-SPM 並不會讓這些工具變得過時。它加入模型、資料與代理的背景，幫助資安團隊理解為何某項發現重要性。公共儲存是一回事。包含詐欺模型訓練資料的公開儲存則是另一項優先順序。API 金鑰被暴露是壞事。一個能呼叫內部 AI 代理且有資料庫存取權的公開金鑰更糟。擴大的 AI 攻擊面 AI 系統引入了許多組織尚未乾淨盤點的安全物件。如果這些資產是隱形的，它們的風險也會隱形。這就是為什麼發現通常是 AI-SPM...

2m read

人工智慧供應鏈風險與第三方模型風險

什麼是人工智慧供應鏈風險和第三方模型風險？

AI 供應鏈風險和第三方模型風險描述了當組織的 AI 系統依賴它沒有建構且無法完全控制的資料、模型、平台、基礎設施或整合時，組織所面臨的風險。這兩個術語相關，但不能互換使用。AI 供應鏈風險是一個廣義的概念：每一個可能影響最終系統的外部資料集、基礎模型、微調服務、託管層、外掛程式、API、代理程式和供應商。第三方模型風險的範圍較窄：指使用他人提供的模型所帶來的風險。這種區別很重要，因為第三方人工智慧通常被視為普通的供應商軟體。它的行為方式不同。模型在上線後可能會發生變化，依賴未知數據，產生難以解釋的輸出，或連接到會產生新的安全和合規風險的工具。使用該系統的組織仍然需要對其業務表現負責。快速定義人工智慧供應鏈風險人工智慧供應鏈風險是指人工智慧系統背後的外部投入和供應商所帶來的綜合風險。這可能包括訓練資料、資料經紀人、模型開發者、微調供應商、託管平台、推理服務、插件、API、代理和其他整合層。實際的理念是累積。每一層都可能引入弱點，而這些弱點會向下蔓延，最終影響部署系統的組織。資料來源、模型沿襲、託管安全、存取控製或整合設計方面的缺陷可能會影響最終輸出或決策。與軟體供應鏈風險相比，人工智慧也增加了一些更難察覺的依賴：訓練資料來源、模型沿襲、模型行為、評估品質以及模型在重新訓練、微調或更新過程中出現的漂移。第三方模型風險第三方模型風險是指當一個組織使用並非由其自行建構且無法完全檢查或控制的人工智慧模型時所產生的風險敞口。該模型可透過 API 訪問，嵌入供應商平台內，獲得特定用例的許可，或從模型庫下載。核心問題是控制力有限。提供者可能了解培訓資料、架構、評估歷史、更新計劃、安全測試和子處理器。客戶可能只能看到介面、文件和輸出結果。這種差距使得驗證、可解釋性、可審計性和問責制更加困難。第三方模型風險是人工智慧供應鏈的一部分。人工智慧供應鏈風險是針對特定模型的，同時還包括周圍的數據、工具、基礎設施、整合和上游供應商。人工智慧供應鏈：參與方有哪些？一個常見的錯誤是將整個人工智慧供應鏈簡化為直接供應商。實際上，人工智慧產品通常依賴多個層面，而每個層面都會帶來不同類型的曝光。培訓數據提供者和數據經紀商這一層包括資料經紀人、標註供應商、網路抓取資料集、專有資料集和合成資料提供者。主要問題包括同意、許可、智慧財產權、隱私、品質、代表性，以及訓練集中是否包含敏感或受保護的資料。基礎模型開發者基礎模型開發者建立通用模型，供其他組織使用、微調或嵌入。下游客戶通常對訓練資料、架構、評估實務和模型變更過程的了解有限。微調和自訂層供應商可能會針對特定用例調整基礎模型，例如履歷篩選、核保、詐欺偵測、臨床支援或客戶支援。客製化可以提高性能，但也可能引入新的偏差，降低可追溯性，或使血統更難解釋。託管、推理和計算基礎設施模型可在雲端平台、推理服務、託管人工智慧平台或邊緣基礎架構上運作。這一層帶來了安全性、可用性、資料處理和集中性方面的問題，尤其是在許多組織依賴相同供應商的情況下。插件、API、代理和整合工具現代人工智慧系統很少只是一個模型。他們稱之為檢索工具、瀏覽器插件、外部 API、工作流程自動化和代理。這些整合可能成為快速注入、資料外洩、權限過大和第三方暴露的入口點。部署組織部署組織是指在實際業務流程中使用該系統的公司。供應商可以提供模型，但使用模型的組織仍然決定用例、監督模型、資料輸入、升級路徑和可接受的風險等級。這與傳統供應商風險有何不同？傳統的第三方風險管理是圍繞著相對穩定的供應商、服務、控制措施和合約建立的。人工智慧從多個方面改變了這種模式。模型不斷變化。第三方模型在上線後可以進行重新訓練、微調、重新版本化或連接到新工具。一次審查可能無法描述系統後續的運作。不透明度屬於正常現象。客戶可能不了解模型架構、訓練資料、測試歷史、子處理器或上游相依性。這使得驗證和審計工作更加困難。危害會迅速擴大。人工智慧系統可以自動且大規模地影響決策。上游資料集、模型更新或整合方面的缺陷可能會在問題被發現之前影響許多下游決策。問責制不會消失。根據法律、合約、行業和用例，部署組織可能仍需要對人工智慧系統如何影響客戶、員工、患者、申請人或受監管的決策負責。主要風險類別模型和數據不透明度組織可能無法解釋為什麼某個模型會做出某個決策，哪些資料影響了該決策，或哪些上游提供者影響了該決策。這會為公平性、可解釋性、可審計性和合規性帶來問題。偏見和歧視性結果偏見可能透過訓練資料、模型設計、微調資料或部署環境進入。如果第三方招聘、貸款、保險、福利或風險模型產生歧視性結果，部署該模型的組織仍可能面臨法律、營運和聲譽方面的後果。資料隱私和培訓資料濫用第三方人工智慧引發了人們的疑問：客戶資料、個人資料、受保護的健康資訊、原始碼或專有資料是否會被用於訓練、保留、評估或產品改進。這些爭議可能在部署很久之後才會出現。安全與對抗風險 AI 供應鏈引入了攻擊面，例如快速注入、模型洩漏、不安全的插件、不安全的代理、易受攻擊的開源元件、被破壞的模型儲存庫以及透過整合造成的資料外洩。監理與合規風險第三方人工智慧服務可能無法滿足醫療保健、金融、就業、保險、關鍵基礎設施或其他受監管領域的特定行業要求。當受監管組織依賴上游供應商時，合規性問題可能會向下蔓延。集中風險許多組織依賴同一小群基礎架構模型供應商、雲端平台、模型中心和基礎設施供應商。一家廣泛使用的供應商出現故障、中斷、違規、許可變更或模型缺陷，可能會同時影響許多下游組織。動態模型漂移第三方模型可能會在審核後發生變化。供應商可能會更新模型版本、使用新資料重新訓練、調整閾值或更改防護措施。這些變化可能會改變績效、偏見和合規態度，而無需客戶做出任何直接改變。...

2m read

AI 安全問題

什麼是 AI 驅動的內部威脅偵測？

AI 驅動的內部威脅偵測透過結合行為分析、機器學習和異常偵測來識別內部威脅。內部威脅（包括惡意內部人員、疏忽的使用者和受駭員工）是一項重大的安全性挑戰，因為威脅來源已經擁有組織環境的合法存取權。這使得這些威脅難以透過傳統安全性解決方案來識別，且權限存取可能會擴大威脅對組織造成的影響。 AI 透過利用模式和異常偵測來捕捉這些風險的預警訊號，提供了識別並阻擋此類威脅的潛力。當它作為安全存取服務邊緣 (SASE) 架構的一部分實作時特別有效，其中集中式可視性提供了 AI 所需資料的存取權，而整合式零信任網路存取 (ZTNA) 則提供了識別並阻擋異常且潛在惡意請求的能力。內部威脅如何在現代 SASE 環境中演變？內部威脅是對組織的潛在安全性風險，因為威脅來源已經擁有其系統的合法存取權，無需利用漏洞或採取其他「大動作」來取得最初的立足點。內部威脅有幾種不同的形式，包括惡意內部人員、受駭帳戶和疏忽的使用者。這些內部威脅比外部威脅更難偵測，且遠端工作、雲端遷移和混合存取等因素使問題更加複雜。在這種環境下，SASE 是一項無價的工具，能夠在單一位置查看使用者流量、存取模式和安全性事件。現今哪些類型的內部威脅最重要？並非所有內部威脅都是蓄意試圖傷害企業。內部威脅的三大主要類型包括：內部威脅可能存在於組織內的任何地方，但某些業務職位比其他職位風險更高。例如，擁有程式碼儲存庫存取權的開發人員、財務專業人員和人資人員，皆可存取高度敏感的資料或資源，這些資料或資源若遭濫用，可能會對業務造成重大影響。此外，「內部威脅」的概念並不限於在現場工作的員工。隨著遠端工作、承包商和第三方存取，受信任的一方可能是物理上或組織上屬於企業外部的人員。為什麼傳統工具難以偵測內部威脅從組織外部發起的威脅行為者需要採取明顯的行動，例如利用漏洞或執行網路釣魚攻擊，以取得初步立足點。相比之下，內部威脅已經擁有這些存取權限，使他們能夠使用有效的憑證和核准的裝置來執行攻擊。這使得他們的活動看起來更合法，因為他們主要是在行使他們已經擁有的權限和許可。對於內部威脅而言，攻擊可能涉及執行比平常更多的下載，或是逐漸存取更多新的資料與應用程式。這類活動很容易被視為無害，並可能淹沒在安全分析師需要評估的大量警示資訊中。龐大的警示數量也可能促使 SOC 團隊調整設定，忽略這類低層級威脅和可能的誤報，轉而優先識別外部威脅行為者所進行的更顯眼攻擊。因此，傳統系統可能難以識別那些不需要惡意軟體、漏洞利用或未經授權存取即可達成目標的內部威脅。管理這些威脅需要行為分析，旨在識別特定使用者、帳戶或裝置偏離正常行為的情況。 SASE 如何提升內部風險的可視性？ SASE 的定義是將網路最佳化與 SSE 功能融合在單一雲端交付的平台中。這提供了對整個企業 WAN 的使用者流量、存取決策、安全政策執行和網頁瀏覽的洞察。透過這種集中化，可以在單一解決方案中追蹤使用者在整個企業 IT 環境中的行為。以整合式平台取代單點安全解決方案，也能降低因缺乏情境或獨立安全工具間的盲點而錯失威脅的風險。這套完整且標準化的資料集也非常適合用於訓練 AI 解決方案，因為它能避免涵蓋範圍的缺口，或是在跨不同工具與格式關聯及轉換資訊時可能出現的問題。實務上的 AI 驅動內部威脅偵測是什麼？在實務上，AI 驅動的內部威脅偵測會利用 AI 來尋找顯示組織環境內存在潛在威脅的模式與異常。AI 工具可以建立正常行為的基準，然後識別出可能對業務構成潛在風險的行為偏差。透過將原始資料提煉為高保真訊號，AI 能減少警示數量並減輕人類分析師的負擔，防止過勞並加速事件偵測與回應。行為基準與異常偵測是如何運作的？行為分析使用非監督式學習來識別使用者的正常行為基準。隨著時間推移，AI 會監控有關使用者登入時間、地點、裝置、存取的應用程式、資料傳輸量以及典型資源組合的資料。由此，它能提取出模式並理解使用者的正常行為。有了此基準，AI 就能轉而識別與使用者正常行為有統計學意義的差異。例如，使用者可能會突然存取包含敏感客戶資料的資料庫，而他們過去從未這樣做過。...

2m read

應用中的人工智慧安全

應用中的人工智慧安全：定義、威脅與控制

應用程式的 AI 安全是指保護使用 AI 的軟體免受攻擊、濫用、資料外洩及不安全行為的實務。內容涵蓋應用程式程式碼、模型行為、提示、訓練與檢索資料、推理 API、連接工具，以及任何能採取行動的 AI 代理。什麼是應用中的 AI 安全？ AI 驅動的應用程式行為與傳統軟體不同。它們可以以機率方式回應，高度依賴資料品質，透過產生的輸出暴露敏感資訊，並可透過自然語言指令進行操作。當系統包含代理或工具使用時，模型回應也可能觸發其他系統的行動。應用領域的人工智慧安全將傳統應用安全擴展至更廣泛的表面積。驗證、授權、安全編碼、日誌記錄、漏洞管理及相依性控制依然重要。他們已經不再單靠自己了。人工智慧的安全與人工智慧安全這個詞人工智慧安全有兩種用途，這也是定義有時會讓人覺得模糊的原因。兩種用法都是合理的。本文聚焦於人工智慧應用的安全。為什麼重要 AI 應用現正被納入客戶支援、企業搜尋、軟體開發、分析、財務、醫療保健、人力資源、法律審查、資安營運及內部生產力工具。許多系統會接觸敏感資料或影響人們日後的決策。風險不僅在於模型給出錯誤答案。一個易受攻擊的 AI 應用程式可能會洩露私人資料、取得使用者不該看到的紀錄、遵循隱藏在文件中的惡意指令、做出控的建議，或讓客服人員呼叫不該使用的工具。威脅進入 AI 應用堆疊的來源核心威脅類型它與傳統應用程式安全有何不同 AI 應用安全是可加的。它並不取代 AppSec;它擴展了它。安全的 AI 應用仍需安全的 API、強認證、安全的會話處理、輸入驗證、相依性管理、秘密管理與監控。AI 會加入新的資產和新的故障模式。 AI 應用安全的關鍵控制保護 AI 代理特工值得特別待遇，因為他們能規劃和行動。聊天機器人可能會回答得很差;客服人員可能會將答案傳送給客戶、更新 CRM 紀錄、刪除檔案、開啟拉取請求，或觸發工作流程。較安全的起始態態是零信任。不要因為內部人員屬於組織就認為安全。給它一個狹窄的角色、短暫的權限、明確的工具界限、完整記錄，以及對重要動作設置核准檢查點。架構與參考點 AI 應用安全並沒有統一的通用基準。實務工作者通常結合多種參考資料：OWASP 針對大型語言模型與 AI 安全風險的指引、NIST AI RMF 用於...

2m read