什麼是人工智慧資料外洩？

AI 資料外洩是指透過 AI 系統、工具、提示、輸出、外掛程式、連接器或代理程式未經授權傳輸或外洩敏感資訊。這包括企業內部使用的所有形式的人工智慧，包括公共 GenAI 工具、SaaS 工具中的嵌入式人工智慧、內部副駕駛、自主人工智慧代理和模型連接的工作流程。

雖然資料外洩是一個長期存在的威脅，但人工智慧透過提示、檢索層、記憶體、輸出和第三方整合引入了新的風險和外洩途徑。敏感資料可能因使用者操作失誤或系統設計不安全而意外洩露，也可能是故意洩露。

主要亮點

• AI 資料外洩是指未經授權透過 AI 系統或 AI 工作流程外洩或傳輸敏感資訊。
• 它可以透過提示、輸出、連接器、記憶體、訓練管道或代理操作來實現。
• 意外的使用者行為和蓄意攻擊都可能導致與人工智慧相關的資料遺失。
• 影子人工智慧會增加風險，因為組織可能缺乏可見性、日誌和策略執行。
• 有效的預防取決於資料分類、存取控制、監控和輸出過濾。
• AI 資料外洩與資料外洩有關，但它通常涉及 AI 特有的路徑和行為。

人工智慧資料外洩意味著什麼？

AI 資料外洩是指敏感資料透過 AI 提示、回應、嵌入和其他方式離開企業環境。這包括故意洩漏和因誤用、配置錯誤或安全控制薄弱而導致的意外洩漏。

AI 資料外洩與一般資料外洩的主要區別在於洩漏手段，例如，AI 工具。人工智慧可以透過以小片段形式發送資料、透過對話請求或透過工具介導的操作，使資料外洩不那麼明顯。此外，如果人工智慧受到提示注射、幻覺或類似問題的侵害，它可能會「意外地」洩露資料。

哪些類型的資料風險最大？

人工智慧可能會洩露其處理的任何類型的敏感數據，包括：

• PII
• 財務數據
• 健康數據
• 原始碼
• 內部文件
• 憑證
• 客戶記錄
• 法律內容
• 商業機密

由於人工智慧工具通常會處理自由文字、文件、螢幕截圖和貼上的內容，因此人工智慧可能會洩露結構化資料和非結構化資料。因此，用戶在提示或上傳中隨意處理的敏感資料可能會洩露，即使這些資料不受監管，也可能仍然具有敏感性。

人工智慧資料擷取類型

人工智慧引入了新的資料外洩威脅，因為資料可以透過對話、嵌入式或自動化的方式流入和流出系統。雖然駭客攻擊是一種可能性，但許多洩密事件都是由普通的工作流程和管理不善造成的。 

一些常見的AI資料外洩類型包括：

• 提示和輸入暴露：使用者可能會將敏感資料（機密記錄、代碼、客戶資訊等）輸入或貼上到公共或未經批准的 AI 工具中，這些工具會使用這些資料進行訓練。數據還可以透過基於瀏覽器的聊天機器人、SaaS 應用中的嵌入式 AI 功能以及開發者助理收集。對於敏感數據，應監控並記錄提示資訊。
• 基於產出的資訊揭露：能夠存取敏感資料的AI工具可能會在對提示的回應中洩露這些資訊。薄弱的控制措施可能導致過度廣泛的檢索、薄弱的授權、記憶體暴露或不安全的回應產生。如果人工智慧提供了用戶不打算對外共享的數據，這種洩漏甚至可能是無意的。
• 連接器、插件和代理操作：人工智慧代理和聯網工具由於人工智慧能夠呼叫工具、查詢資料儲存或採取行動，從而擴大了風險面。如果沒有最小權限和授權檢查，連接器、插件、API 整合、文件存取和知識庫存取可能會增加資料外洩的風險。
• 記憶體、檢索和資料持久性風險：敏感資料可能儲存在 AI 工作流程的記憶體層、檢索系統、向量儲存、日誌或其他持久層中。以這種方式進入系統的資料可能會作為模型輸出的一部分洩漏出去。組織應實施嚴格的敏感資料存取控制，並制定資料保留、日誌記錄和治理策略。

影子人工智慧的風險

影子人工智慧是指未經批准或管理的商業人工智慧使用，這可能會對安全團隊造成盲點。如果沒有存取控制、分類和批准的政策阻止，員工可能會使用免費的 AI 工具或帶有嵌入式 AI 的 SaaS 應用程序，並將敏感資料複製到其中。未經批准使用人工智慧會增加資料外洩的風險，並且由於缺乏可見性和審計跟踪，很難進行調查。

常見的人工智慧資料外洩場景

人工智慧資料外洩可以透過多種方式發生，包括：

• 公共 GenAI 工具：合約、客戶資料、原始程式碼和其他敏感資料可能會複製到公共 GenAI 工具中進行分析或支援其他工作流程。如果這些工具沒有得到授權和監控，安全團隊可能無法發現這種交互，從而導致資料外洩。資料分類和策略對於應對這一威脅至關重要。
• 聊天機器人和副駕駛：人工智慧助理可以存取內部文件、工單、儲存庫和知識庫。授權不足或檢索範圍過廣可能導致敏感內容意外地暴露給錯誤的使用者。應使用輸出控制和存取檢查來防止這種情況發生。
• 快速注射：提示注入攻擊利用精心設計的提示來操縱人工智慧，使其洩露敏感資訊或採取不希望採取的行動。這可以直接執行，也可以透過在外部內容或連結資源中嵌入惡意指令來執行。即時注入也可能導致連接系統中的內部資料、秘密或內容洩露，尤其是在使用自主人工智慧代理和檢索工作流程時。
• 外部工具和操作：擁有工具存取權限的人工智慧代理程式可以透過外部工具發送、上傳、匯總或傳輸敏感資料。權限和操作範圍對於防止透過下游系統進行資料外洩至關重要。

企業如何偵測並降低人工智慧資料外洩風險？

人工智慧資料外洩對企業構成重大風險，尤其是在人工智慧日益整合和自主化的情況下。 

管理這些風險的最佳實踐包括：

• 資料分類與資料防洩漏控制：組織需要先識別敏感數據，才能妥善保護。資料在輸入人工智慧系統之前應該進行分類，以便管理資料存取權限並正確清理提示資訊和模型輸出。對於人工智慧而言，資料防洩漏(DLP)對於防止透過非結構化資料外洩至關重要。
• 存取控制和最小權限原則：應根據角色和需求限制對 AI 工具、連接器、記憶體儲存和企業資料來源的訪問，以降低資料外洩的風險。為降低敏感資料外洩的風險，在檢索或處理資料之前，應制定並執行資料分類、基於角色的存取控制 (RBAC) 和安全策略。
• 監控、日誌記錄和異常檢測：組織應監控提示、回應、工具使用情況和資料流，以發現可疑或異常事件，例如不尋常的存取模式、較大的提示有效負載、奇怪的輸出行為或未經批准的應用程式使用。如果條件允許，人工智慧遙測資料應提供給更廣泛的安全營運部門，以支援以檢測為中心的策略。
• 輸出過濾和策略執行：輸入和輸出都可以用於人工智慧資料竊取。策略執行應涵蓋提示、上傳、下載、剪貼簿行為以及產生的回應（如適用），以防止敏感資料在模型或助理輸出中洩漏。

AI 資料外洩與資料外洩與資料外洩

AI 資料外洩、資料外洩和資料外洩都是相關的術語。關鍵要素包括：

• 資料外洩：通常指故意、未經授權的資料傳輸、提取或刪除。
• 資料外洩：通常為意外或不受控制的暴露。
• 資料外洩：更廣泛的安全事件，包括未經授權的資料存取、揭露或外洩。

在人工智慧領域，這些術語可能會重疊。例如，提示符可能會無意中產生包含未經授權資料的回應，或者提示符注入攻擊可以有意地達到相同的目的。這兩種情況都可能導致資料洩露，並對企業造成類似的負面影響。

人工智慧資料外洩是董事會層面的擔憂

人工智慧資料外洩是一個資料安全和治理問題，而不僅僅是一個模型問題。當人工智慧的應用擴張速度超過可見性、存取控制和策略執行的速度時，風險就會增加。

隨著人工智慧工具越來越多地接觸到敏感的業務流程、內部知識和受監管的數據，對人工智慧使用控制不力可能會影響隱私、合規性、智慧財產權保護和信任。組織需要製定政策來管理影子人工智慧和透過提示、輸出和連接工具進行資料外洩的風險。

常問問題

什麼是人工智慧資料外洩？

AI 資料外洩是指透過 AI 提示、輸出、模型、代理或連接系統未經授權地暴露或傳輸敏感資料。這包括用戶或人工智慧系統故意竊取資料和意外洩漏資料。

人工智慧資料外洩與資料外洩是一回事嗎？

人工智慧資料外洩與資料外洩有關，但外洩往往是無意的。相較之下，資料外洩通常是蓄意的；然而，人工智慧系統由於其獨立行動的能力，可能會模糊兩者之間的界線。

人工智慧工具如何洩漏敏感資訊？

人工智慧系統可以透過多種方式洩漏敏感訊息，包括透過提示、輸出、連接器、記憶體、檢索系統和代理操作。資料外洩的風險可能源自於誤用、錯誤配置或攻擊，例如提示注入。

為什麼影子人工智慧會增加人員外洩的風險？

由於未經批准的工具不受監控或公司政策及資料外洩工具的約束，影子人工智慧會增加資料外洩風險。因此，滲漏很難被發現和調查。

企業如何降低人工智慧資料外洩風險？

透過常見的資料安全最佳實踐，例如資料分類、資料防洩漏 (DLP)、存取控制、監控、日誌記錄、輸出過濾和治理，可以降低人工智慧資料外洩的風險。影子人工智慧和人工智慧在企業中日益增長的應用意味著，任何單一的控制措施都不足以應對資料遺失的風險，縱深防禦對於最大限度地降低資料遺失的風險至關重要。