什麼是人工智慧安全？

人工智慧安全包括旨在保護人工智慧系統免受常見攻擊的安全控制措施。這些行為包括篡改或刪除訓練數據，以及使用惡意提示來存取敏感數據或導致人工智慧系統故障。

隨著企業在重要業務流程中越來越多地採用和信任人工智慧系統，人工智慧安全變得極為重要。攻擊成功可能導致敏感資料外洩、人工智慧模型出現偏差、拒絕服務 (DoS) 攻擊或類似事件。

人工智慧系統面臨著與傳統IT系統相同的許多威脅，但它們也面臨著自身特有的風險。實施人工智慧安全需要了解人工智慧模型完整性和資料隱私面臨的常見風險以及如何最好地應對這些風險。

了解人工智慧安全

人工智慧安全著重於保護人工智慧系統、模型和資料免受各種威脅。隨著這些系統越來越多地被允許存取醫療保健和金融等行業的高價值資料和工作流程，不安全的 AI 可能會導致資料外洩、模型偏差或未經授權存取企業系統。

人工智慧安全是一個複雜且多學科的領域，需要機器學習 (ML)、網路安全和倫理方面的專業知識。確保人工智慧系統的安全需要量身定制的安全解決方案，例如人工智慧安全態勢管理（AI-SPM）。

人工智慧安全的關鍵組成部分

人工智慧系統複雜且涉及多個學科，這使得它們面臨各種潛在威脅。因此，人工智慧安全涵蓋了廣泛的最佳實踐，旨在解決資料、模型、存取和營運方面的風險。雖然人工智慧安全的許多關鍵組成部分與傳統網路安全中的許多關鍵組成部分相似，但人工智慧的性質和應用案例帶來了新的挑戰。

人工智慧安全組件

資料保護

數據對於人工智慧系統至關重要，因為它們需要數據來訓練模型並進行推理以完成各種任務。因此，必須保護人工智慧系統的訓練資料和內部參數，以防止未經授權的修改或刪除。

攻擊者如果能夠獲取這些信息，就可以對其進行修改，從而改變人工智慧模型的運作方式及其做出的決策。例如，他們可能會引入錯誤標記的訓練數據，目的是使人工智慧系統將惡意活動標記為良性並忽略它們。組織可以透過實施資料安全最佳實踐來管理這些風險，例如存取控制、加密、資料遺失防護 (DLP)和資料匿名化。

模型完整性

人工智慧模型透過訓練資料進行學習，將資料中包含的資訊壓縮成一組模型權重。攻擊者如果能夠修改模型的訓練資料或權重，就能改變模型的運作方式。或者，攻擊者透過研究模型輸出，可能能夠提取其中編碼的敏感訓練資料。

組織應持續監控和驗證人工智慧模型，以識別任何可能表明存在攻擊或其他問題的行為變化。在訓練過程中，公司還應進行對抗性測試以確保模型安全，並採用差分隱私等資料隱私最佳實踐。

存取管理

人工智慧模型是功能強大的系統，可以存取高度敏感的數據，尤其是在企業採用智慧體人工智慧的情況下。攻擊者如果能夠存取這些系統，就可能利用它們來進一步發動攻擊。例如，攻擊者可能能夠查詢人工智慧系統以收集敏感資訊，或命令該系統對另一個系統執行惡意操作。

管理這些風險需要嚴格控制對人工智慧系統和資料的存取。組織應為使用者和人工智慧系統實施最小權限存取控制和網路分段，以最大限度地減少對資料和系統的未經授權存取。此外，所有帳戶都應實施多因素身份驗證（MFA），以降低帳戶被盜用攻擊的風險。

生命週期安全

人工智慧系統在其生命週期的任何階段都可能成為網路攻擊的目標，​​從初始訓練到生命週期結束。在訓練過程中，攻擊者可以將惡意資料注入訓練語料庫，從而為生成的 AI 模型引入偏差。已部署的 AI 系統可能會成為快速注入、模型反轉或類似攻擊的目標。

組織應在人工智慧生命週期的每個階段實施安全控制，包括安全的 CI/CD 管道、版本控制以及定期審計和日誌記錄。DevSecOps 的實踐也可以擴展到人工智慧系統，確保從一開始就將存取控制、資料安全和其他最佳實踐建置到系統中。否則，組織將面臨模型漂移、不受監控的影子部署或開發過程中的資料外洩的風險。

API 和端點安全

人工智慧系統通常透過 API 介面對外開放，以便整合到自動化工作流程中。然而，如果沒有安全控制措施，這些介面也可能使這些系統面臨未經授權的存取和潛在的濫用風險。

暴露的、不安全的端點可能導致快速注入、系統濫用或未經授權的推理請求。組織應實施零信任安全模型和 API 安全最佳實踐，例如透過 OAuth2.0 進行身份驗證、速率限制、IP 白名單以及對傳輸中的請求和資料進行加密。

保護生成式人工智慧模型

生成式人工智慧（GenAI）是一種特殊的人工智慧系統，其中包括 ChatGPT、Claude 等工具。這些系統引入了額外的潛在風險，例如快速注入攻擊、模型幻覺和資料外洩。組織應實施輸入清理、存取控制和輸出驗證，以管理這些業務風險。

人工智慧安全挑戰

人工智慧安全面臨諸多挑戰，例如：

• 缺乏透明度：大多數主要的 GenAI 工具都是無法解釋的，這意味著無法確定工具如何以及為什麼做出某個特定決定。這使得識別系統輸出中的偏差和其他潛在錯誤變得困難。
• 第三方風險：人工智慧系統和工作流程通常涉及第三方資料、模型、整合等。這些第三方組件中的錯誤或安全漏洞可能會為企業帶來供應鏈風險。
• 不斷變化的風險：人工智慧系統發展迅速，目前仍處於起步階段，這意味著其面臨的威脅和潛在攻擊尚未完全明定了。因此，一個組織可能沒有意識到與其人工智慧系統相關的各種風險以及如何最好地應對這些風險。
• 監理合規性：人工智慧模型訓練資料通常包含敏感資訊，這些資訊可能會透過資料外洩或模型逆向工程而暴露出來。這些風險以及處理資料所需的同意要求，可能會使遵守 GDPR、CCPA 和類似法律變得複雜。各組織也必須不斷跟上技術和監管要求的變化。 

人工智慧安全實踐

各行各業的組織都在實施人工智慧安全最佳實踐，以管理敏感資料和關鍵工作流程可能面臨的風險。這些措施包括明確應對人工智慧安全風險，並部署工具和技術來預防和偵測潛在攻擊。

範例

金融和醫療保健等許多行業正在將人工智慧系統應用於受各種法規保護的高度敏感資料。他們管理風險的一些方法包括：

• 資料分類：資料分類工具可以識別人工智慧訓練資料集中包含的敏感資料和受保護資料。這使得組織能夠在將資料輸入人工智慧模型之前對其進行編碼、屏蔽或以其他方式匿名化。
• 對抗性輸入偵測：在進行推理之前，可以對人工智慧系統的輸入進行分析。這些監控系統可能會尋找旨在達到特定效果的惡意輸入。
• 輸出監控：組織還可以實施人工智慧系統輸出的自動監控，以查找潛在的異常情況。例如，與正常值有顯著偏差的輸出結果可能會觸發警報，需要手動審核和批准。企業還可以對回應進行自動策略審查，以防止未經授權存取敏感資料和類似風險。

工具和技術

人工智慧安全採用與傳統網路安全相同的許多安全工具和技術。例如，一個組織可以使用入侵偵測系統 (IDS) 來識別各種攻擊，並使用安全資訊和事件管理 (SIEM) 系統進行事件關聯和分析。

然而，人工智慧安全也有其自身的工具和技術。組織可以採用 AI-SPM 來管理其 AI 系統的配置，或使用 AI 驅動的威脅偵測和預防系統來阻止針對其 AI 系統的攻擊。

關於人工智慧安全的常見問題

為什麼人工智慧安全如此重要？

越來越多的組織允許人工智慧系統存取敏感資料並執行關鍵工作流程。確保這些系統的安全至關重要，可防止資料外洩、營運中斷以及其他可能對業務造成的威脅。

人工智慧安全領域有哪些常見挑戰？

由於人工智慧系統缺乏透明度，並依賴第三方數據和組件，因此人工智慧安全可能面臨挑戰。此外，各組織還需要應對不斷變化的安全威脅情勢和監管要求。

在企業環境中實施人工智慧安全有哪些最佳實務？

組織應實施最小權限存取控制，以保護敏感資料和人工智慧系統免受未經授權的存取。此外，還應監控人工智慧模型的輸入和輸出，以發現潛在的惡意請求或錯誤答案。

利用統一網路戰略加強人工智慧安全

人工智慧安全對於管理人工智慧系統可能對企業資料、系統和工作流程構成的潛在威脅至關重要。組織應實施人工智慧治理政策和安全控制措施，以解決人工智慧安全的關鍵要素，例如資料保護、存取管理和模型完整性。企業應根據不斷變化的威脅和監管要求，評估其現有的AI安全措施。