什麼是生成式人工智慧安全？
生成式人工智慧 (GenAI) 安全管理與 LLM 聊天機器人（例如 ChatGPT 或 Claude）相關的安全風險。主要風險包括資料外洩的可能性、快速注入以及LLM產生的錯誤。當員工未經公司批准或監督使用 GenAI 工具時，影子人工智慧會加劇這些風險。
GenAI 安全是更廣泛的AI 安全領域的一個子集。雖然企業越來越多地採用 LLM，但人工智慧的其他應用，如預測性人工智慧，具有不同的用例和相關的安全要求。
隨著 GenAI 的應用日益普及，有效保護這些系統的需求也隨之成長。企業 GenAI 安全計畫應考慮現有的框架、潛在的控制措施和監管指導，以管理與該技術相關的風險。
生成式人工智慧安全涵蓋哪些內容？
GenAI 安全性包括保護企業內部 GenAI 使用的各個方面，包括存取管理、監控和可接受的使用方式。成熟的GenAI安全方案將包含各種策略和控制措施，其中包括：
- 可接受的使用和使用者行為政策
- 及時和資料輸入治理
- 輸出審核與內容真實性控制
- 存取管理
- 人工智慧互動的監控與記錄
- 人工智慧相關資料流的合規性和可審計性
- 內部和外部LLM的風險管理
GenAI 安全計劃應考慮組織對該技術的所有潛在用途。這包括公共模型、內部LLM、嵌入SaaS工具中的AI、瀏覽器擴充和API整合。
GenAI 安全計畫涵蓋業務的各個方面，包括網路安全、資料保護、法律和合規性。制定相關計劃時應與所有受影響的業務部門合作，但隨著計劃和業務對 GenAI 的使用發生變化和成熟，計劃的責任可能會發生轉移。
核心概念
GenAI 安全包括保護組織使用 GenAI 所需的政策、流程和技術控制。GenAI安全保障涵蓋的資產包括：
- 提示
- 輸入
- 輸出
- 模型訪問
- 蜜蜂
- 身分
- 上下文元數據
- 紀錄
對於其中的每一項，組織都需要考慮「CIA 三要素」（保密性、完整性和可用性），以及它如何影響公共 LLM 和內部部署。例如，一個組織既需要保護敏感資料免受 GenAI 的不當處理，又要考慮業務需求。
日誌記錄和監控也是 GenAI 專案的關鍵組成部分。企業需要了解 GenAI 的使用情況，以確保符合政策和監管要求，並制定控制措施以應對新的潛在威脅。
與更廣泛的人工智慧治理的關係
GenAI 是企業人工智慧治理策略的一個組成部分。雖然 GenAI 的應用很廣泛，但企業也正在採用其他形式的人工智慧，這些形式需要量身定制的政策和控制措施。然而，透明度、問責制、盡職義務和風險管理等關鍵治理原則是普遍適用的。
GenAI 安全性在更廣泛的 AI 安全生態系統中的作用由 NIST AI 風險管理框架 (NIST AI RMF) 和 ISO/IEC 42001 等框架定義和闡明，這些框架規定瞭如何制定有效的 AI 風險管理計劃。這些專案是跨職能的，安全團隊負責制定控制措施，法律團隊負責確保合法使用，合規團隊負責管理審計。
為什麼生成式人工智慧安全對當今企業至關重要？
GenAI 的使用正在迅速增長，其中包括影子 AI，即員工在沒有企業監管的情況下使用該技術。雖然這為企業帶來了好處，但也帶來了各種風險，例如敏感客戶或業務資料外洩的可能性。
如果企業無法了解和控制其人工智慧的使用情況，就很容易面臨這些風險。透過開發 GenAI 安全計劃，該公司可以管理其當前的 AI 使用情況，並開發一個能夠隨著其技術使用而擴展的計劃。
企業採納與推廣
企業對 GenAI 的採用正在迅速成長，其速度可能比企業預想的還要快。許多供應商正在將人工智慧融入他們的產品中，這意味著現有的解決方案可能會突然展現出人工智慧驅動的功能。
員工也可能採用未經授權的解決方案，透過影子人工智慧擴大公司面臨的人工智慧風險。這種情況可以透過多種管道發生，包括：
- 瀏覽器擴充功能
- LLM聊天機器人中的複製貼上輸入
- 嵌入SaaS平台的AI
- 未經審核的API
- 行動人工智慧應用
- 企業軟體的非託管插件
這些潛在的暴露點中的每一個都會帶來可見性和安全漏洞的風險。如果一個組織無法全面了解其人工智慧的使用情況，就無法有效管理相關的網路安全和合規風險。
治理與信任的影響
人工智慧安全是企業和消費者都非常關注的安全問題。如果一家公司未能有效管理其人工智慧的使用，這可能會削弱信任，並帶來各種威脅，包括：
- 違反監理規定
- IP外洩
- 內容真實性問題
- 誤傳
- 內部決策誠信喪失
隨著監管法規的演變，監管機構越來越希望看到與人工智慧相關的明確文件和監督。此外，由於組織缺乏對流入和流出人工智慧工具的未記錄資料流的可見性，GenAI 治理薄弱可能會阻礙事件回應。
生成式人工智慧面臨的主要安全風險和威脅有哪些？
GenAI 是一個有用的工具，但它也存在各種安全風險。主要風險包括資料外洩、幻覺、濫用、操縱和治理漏洞。然而，這遠非一份全面的清單，而且威脅情勢會隨著技術及其應用而不斷演變。
主要風險類別
雖然基因人工智慧有各種風險，但有些風險比其他風險更為嚴重。GenAI的一些主要風險包括：
- 資料外洩：提示和輸入中使用的敏感資料可能會被用於訓練模型，並向未經授權的使用者顯示。
- 快速注射：攻擊者或內部威脅可能會精心設計提示，以獲取對敏感資料的未經授權的訪問，或導致人工智慧工具採取不良操作。
- 模型反演：對人工智慧模型的分析可能會揭示用於訓練該模型的敏感個人資料。
- 合成內容濫用：利用 GenAI 創造辱罵性或惡意的 AI 生成內容。
- 影子人工智慧：在商業環境中未經授權使用 GenAI 工具。
- 模型濫用：利用 GenAI 工具進行詐欺活動或作為網路攻擊的一部分。
- 幻覺：GenAI產生的錯誤輸出可能會對業務流程產生負面影響。
組織影響
除了直接的人工智慧安全風險之外，不受監管的基因人工智慧使用還會對企業造成各種負面影響。主要威脅包括：
- 監管處罰
- IP位址遺失
- 誤傳
- 品牌損害
- 營運中斷
例如，某個組織的敏感業務資料可能會輸入到公共的 GenAI 工具中，導致這些資料出現在其他使用者的輸出結果中。或者，如果 GenAI 出現幻覺，那麼依賴 GenAI 做出關鍵業務決策可能會損害企業利益。管理這些風險需要持續監控 GenAI 的輸入和輸出，並記錄會話，以支援事件回應活動。
新興的生成式人工智慧威脅
GenAI 是一款功能強大且不斷發展的工具，但也因此可能被惡意用於各種用途。攻擊者越來越多地利用 GenAI 來改進和擴大網路釣魚和其他社會工程攻擊，並開發新的惡意軟體變種。隨著 GenAI 模型的改進，這種威脅將會加劇，因為這些工具可以產生更逼真的網路釣魚資訊和深度偽造內容，並產生更高品質的惡意程式碼。
哪些控制措施和最佳實踐有助於管理生成式人工智慧安全？
企業可以透過控制對人工智慧工具的存取以及管理流入和流出這些工具的數據，來更好地管理 GenAI 安全風險。儘管各組織都在努力實施 GenAI 的治理、監控、存取控制和生命週期管理，但由於成熟度差距、內部專業知識有限以及政策執行不一致，控制措施的有效性參差不齊。
可見性和庫存
可見性和全面性的清單是 GenAI 安全計畫的基礎，因為組織無法保護他們不知道存在的 GenAI 工具。企業可以使用端點日誌、瀏覽器擴充功能稽核、防火牆日誌和 SaaS 發現工具來建立這些清單。然而，隨著 GenAI 的使用不斷發展，這些清單可能會迅速過時，因此持續監控和更新是必要的。
策略和存取控制
透過了解企業對 GenAI 的使用情況，組織可以製定可接受的使用策略和存取控制，使這種使用與企業安全策略保持一致。企業可以透過以下方式將零信任原則應用於其 GenAI 安全計畫：
- 基於角色的存取控制（RBAC）：RBAC 根據使用者在企業中的角色自訂存取權限和權限，簡化配置和管理。
- 身份驗證：強大的身份驗證機制，例如多因素身份驗證 (MFA) ，可以降低帳戶被盜用攻擊的風險。
- 最小特權：最小權限存取控制將 GenAI 的使用限制在使用者在業務中扮演的角色所需的範圍內。
資料保護和監控
控制 GenAI 工具的資料流入和流出對於管理資料外洩和快速注入等最高安全風險至關重要。組織可用於實施 GenAI 資料保護和監控的工具包括：
- 內容過濾：安全網路網關 (SWG) 、資料遺失防護 (DLP)和類似工具可以監控對基於網路的 GenAI 工具的流量，並控制提示和回應中包含的資訊。
- 提示級編輯與分類：組織可以檢查提示訊息，刪除敏感資訊並對提示訊息應用分類級別，然後再允許或阻止該提示訊息。
- 提示日誌記錄：將 GenAI 系統中的提示資訊記錄下來，有助於識別提示資訊注入嘗試，並在 GenAI 支援的網路攻擊發生後進行調查。
- 異常檢測：監控 GenAI 系統是否有異常資料存取或行為，有助於偵測模型濫用和類似威脅。
許多法規，如 GDPR、PCI DSS 和 HIPAA，都對受保護資料的使用實施了限制，並對其安全性提出了要求。資料保護和監控對於確保 GenAI 的使用符合這些要求至關重要。
生命週期治理與合規
GenAI 安全風險可能在其生命週期的任何階段出現，包括評估、上線、監控、審查和淘汰 AI 工具。組織需要在每個階段管控這些風險，進行審計，記錄流程，並定期更新程序和相關控制措施。隨著員工對風險和最佳實務越來越熟悉，組織能夠加強、擴展和完善其控制措施，成熟度也會隨之提高。
生成式人工智慧安全在實踐中的運作方式
GenAI 安全計畫是更廣泛的網路安全和資料安全實踐的一個組成部分。如果不將 GenAI 安全策略作為技術控制措施加以實施，這些策略將無法執行，並會造成一種虛假的安全感。成熟的 GenAI 安全計畫是指所有受影響的業務部門（法律、安全、IT、資料科學和合規）共同製定滿足自身需求的政策，並能大規模地有效實施和執行。
與更廣泛的網路安全計劃整合
GenAI 是更廣泛的網路安全計畫的一部分，許多 GenAI 的主要威脅只是現有風險的新版本。例如，資料外洩是大多數企業面臨的首要安全問題，而 GenAI 只是代表了一種將敏感資料外洩給未經授權方的新方式。
GenAI 安全程序與現有網路安全程序結合時，才能發揮最大的效用和可擴展性。在現有工具中實施身分管理、資料防洩漏 (DLP) 和 GenAI 安全其他方面的新規則，可以有效地實施這些策略，而不會增加操作複雜性和可見性差距。
未來趨勢與不斷發展的控制技術
由於技術發展迅速，GenAI 安全領域尚處於起步階段，各組織正在努力識別和應對相關風險。因此，瀏覽器隔離、AI 儀表板、提示防護措施、模型存取限制和策略驅動的提示治理系統等新解決方案正在被調整、開發和部署，以便更好地控制 GenAI 對企業的威脅。
隨著 GenAI 的成熟和普及，它帶來的安全風險也會增加。採用量身定制的先進人工智慧威脅管理解決方案，對於保持有效的可見性並防止這些系統可能被濫用和誤用至關重要。
摘要與展望
GenAI 安全性旨在解決企業使用 GenAI 所帶來的各種風險。這包括保護資料免受未經授權的存取和濫用，維護企業信譽，以及遵守適用的法規。
基因人工智慧具有巨大的潛在商業利益，但企業也必須努力控制其帶來的風險。有效且可擴展的 GenAI 安全策略的關鍵要素包括：全面的 AI 視覺性、清晰的 AI 治理、對 GenAI 工具和資料的受控訪問，以及強制負責任地使用這些技術。
隨著企業不斷發現人工智慧技術的應用場景，GenAI 和其他人工智慧工具的使用只會越來越廣泛。同時，企業需要確保安全措施與時俱進，避免 GenAI 帶來的問題比解決的問題更多。
關於生成式人工智慧安全性的常見問題解答
生成式人工智慧安全與傳統人工智慧安全有何不同？
生成式人工智慧 (GenAI) 安全是更廣泛的人工智慧安全計畫中的一個組成部分。雖然 GenAI 安全性著重於 GenAI 工具的使用，但傳統的 AI 安全性還包括建立這些模型以及使用非生成式 AI 工具，例如預測性 AI。GenAI 安全性更著重於保護這些工具的輸入和輸出免受資料外洩、提示注入和類似威脅。
生成式人工智慧最常見的安全風險有哪些？
GenAI存在多種安全風險，包括：
- 資料外洩：將敏感資料輸入公共工具
- 立即註射：惡意提示試圖提取或篡改訊息
- 模型濫用：員工使用人工智慧系統執行超出其預期範圍的任務
- 濫用合成內容：偽造文件、冒充他人、深度偽造和虛假訊息
- 影子人工智慧：未經授權使用人工智慧且缺乏監管
缺乏透明度、監督和治理，組織就無法管理這些風險。因此，它更容易受到利用 GenAI 使用情況的網路攻擊，以及監管不合規和執法方面的潛在風險。
企業如何偵測影子人工智慧的使用情況？
影子人工智慧是指組織員工未經授權使用人工智慧工具，這會引入安全風險，因為公司無法監控或保護這些系統。企業可以透過多種方式偵測影子人工智慧，例如：
- 網路掃描以偵測未知的人工智慧端點
- SaaS 審計以識別未經授權的工具
- 安全網路網關日誌顯示了與人工智慧相關的流量
- 瀏覽器擴充功能評測和終端設備清單
- CASB /SSE 解決方案中的 SaaS 發現工具
這些技術控制措施可以幫助識別現有的影子人工智慧使用情況，但組織也可以採取積極主動的措施。為各種任務提供教育和經批准的解決方案，可以幫助教育員工了解影子人工智慧的風險，並提供可用的替代方案。
哪些框架指導生成式人工智慧治理？
許多組織已經制定了框架來支持 GenAI 治理和更廣泛的 AI 安全治理。其中一些最重要的包括：
- NIST人工智慧風險管理框架：誠信、問責和安全原則。
- ISO/IEC 42001：人工智慧管理系統的首個國際標準。
- 歐盟人工智慧法案：歐盟人工智慧部署的風險分級治理義務。
- GDPR 與特定產業的隱私權法：合法、可審計的資料處理要求。
這些框架為如何開發符合監管要求的有效、可擴展的人工智慧安全程序提供了指導。許多組織採用這些框架中的要素來發展符合自身需求的 GenAI 和 AI 安全計畫。
生成式人工智慧安全是否屬於零信任架構的一部分？
雖然 GenAI 安全不屬於零信任範疇，但採用零信任原則可以顯著提高 GenAI 安全計畫的有效性。零信任原則可以應用於 GenAI 安全的一些方式包括：
- 提交提示資訊者的身份驗證
- 基於角色的模型或人工智慧工具存取權限
- 持續監測人工智慧交互
- 資料輸入和模型存取遵循最小權限原則
採用零信任原則來保障 GenAI 安全，有助於提高可見性，並提供對 AI 使用更精細的控制。這可以降低組織面臨的相關風險，並簡化對適用法規的遵守。
This page was machine-translated. If you notice any inaccuracies or have feedback, please feel free to send it to us here.
