2m read

什麼是人工智慧治理?

內容有哪些?

人工智慧治理是一套政策、程序與控制措施,旨在管理組織使用 AI 及其暴露於相關風險的狀況。雖然 AI 是一項有用的技術,但它對企業也帶來各種風險,例如資料外洩或 AI 幻覺可能損害業務流程。

隨著企業越來越依賴 AI,AI 治理對於管理安全風險暴露及確保法規遵循至關重要。除了政策與程序外,有效的 AI 治理計畫還需要技術控管來執行行政政策與程序。

為什麼人工智慧治理對現代企業很重要?

大多數現代企業都在探索 AI 提升業務流程的潛力。隨著代理型人工智慧的興起,這也包括委託人工智慧代理自主運作,幾乎沒有人工監督。若 AI 代理犯錯或違反公司政策,企業面臨重大風險。

此外,AI 日益整合進 SaaS 解決方案,意味著員工可能會將未經授權的 AI 解決方案用於商業用途。若組織無法掌握並控制這種 AI 的使用,這種影子 AI 可能會造成資料外洩及其他 AI 相關威脅。

AI 治理對於確保 AI 使用符合企業需求、企業安全目標及合規要求至關重要。企業應為 安全存取服務邊緣(SASE), 安全網路閘道(SWG), 資料遺失防護(DLP), 雲端存取安全代理(CASB), 以及 零信任網路存取(ZTNA) 以執行這些要求。

AI 治理有助於緩解哪些風險?

AI 工具可能為企業帶來營運、安全及其他因素的各種風險。成熟的人工智慧治理計畫能減輕的一些主要威脅包括:

  • 輸出不準確:AI 工具可能因訓練資料不完整或錯誤而產生錯誤輸出或「幻覺」。AI 治理能協助識別幻覺並管理其影響。
  • 資料外洩:取得敏感資料的 AI 工具可能會以各種方式向未經授權的第三方揭露資料。資料安全控制對於管理 AI 可存取的資料及其處理方式至關重要。
  • 暗影人工智慧:未經授權使用 AI 工具可能導致敏感資訊超出企業控制範圍。AI 治理計畫能協助偵測並防止未經授權的 AI 工具的使用。
  • AI 濫用:攻擊者或惡意內部人員若能取得 AI 工具,可能會利用它蒐集敏感資訊或損害其利益,對企業造成損害。監控與控制 AI 系統的輸入,可以防止即時注入與 AI 濫用。

人工智慧治理計畫的核心功能

人工智慧治理計畫旨在識別並解決組織使用人工智慧時的主要風險。這包括從決定要餵入 AI 模型的哪些資料,到管理企業使用 AI 工具,再到確保遵守資料保護法規的各個環節。達成這些目標是一個多階段且持續的過程,隨著組織對 AI 及其相關風險的使用及相關風險的演變,政策與程序日益成熟。

政策制定與風險控管

企業AI治理政策應明確規範管理其AI營運各面向的政策。一些主要政策包括:

  • AI工具的合理使用
  • AI 代理的存取控制政策
  • 人工智慧的資料處理與分享限制

這些政策可能會隨時間演進,並應明確規定內部與外部工具的規則。例如,企業網路內部的大型語言模型可能比 ChatGPT 及其他第三方 AI 工具更能接觸敏感資訊。

監控與使用監督

監控與監控 AI 使用狀況對資料安全與法規遵循至關重要。如果 AI 系統被允許存取受保護的資訊,那麼組織必須能夠驗證這些資料是否被妥善使用並加以保護。

AI 監控計畫的關鍵要素包括:

  • 識別授權與非授權 AI 工具使用的網路工具
  • 資料安全可視化工具,用以監控敏感資料流入與流出 AI 工具
  • 記錄 AI 會話並進行 AI 互動的回顧
  • 報告整體 AI 使用情況與可疑互動

持續監控對於管理 AI 使用可能帶來的安全威脅至關重要。一旦發生資料外洩或 AI 代理在關鍵工作流程中犯錯,可能已經太晚無法挽回損害。

AI 治理實務實施

AI 治理通常透過迭代流程實施,組織會隨著計畫成熟或 AI 使用演進而制定新的政策與控制。例如,組織可能最初定義政策禁止某些 AI 工具的使用,之後再更新以允許使用並有特定限制。

這些政策應透過安全、法務、資訊科技及合規團隊的合作來實施。這確保政策能滿足企業的各種需求——防範網路攻擊、法律風險及違規,同時具備有效執行力。政策與控制措施也應定期檢視與更新,以確保其有效性並持續改進。

定義核准與受限的 AI 工具

隨著 AI 越來越多地整合進 SaaS 解決方案及其他軟體中,企業需要決定哪些工具是被允許使用的,哪些是被禁止的。這些決策應基於對工具相關風險的評估,並權衡其可能帶來的商業利益。例如,如果一個組織在其私有雲上實作 SaaS 工具,這代表與第三方管理的類似工具截然不同的風險主張。內部工具可能更受信任,並被授權存取更廣泛的敏感資料。

即使批准了特定工具,組織仍應控制其存取權限。定義入職流程、可接受使用方式及資料處理政策,為 AI 使用提供急需的可視性與控制。

管理資料存取與分類規則

資料外洩與濫用是 AI 使用中的主要風險。資料可能意外暴露給未經授權的第三方,或以危及資料、企業或客戶的風險使用。

資料分類與處理政策應基於資料的敏感度。例如,某組織可能禁止大部分 PII 由 AI 處理,但允許內部工具存取客戶姓名與地址。然而,所有外部 AI 系統可能被禁止存取個人識別資訊(PII),以管理資料外洩及法規不合規風險。

什麼是 AI 治理框架?

像 NIST AI 風險管理框架(RMF)這類 AI 治理框架,旨在協助組織制定政策與控制措施,以管理其 AI 風險暴露。這些框架涵蓋了人工智慧治理的關鍵組成部分——問責制、透明度、安全性與監督——並詳細說明組織如何建立與完善其計畫。透過使用這些框架建構計畫,組織也能簡化合規,將法規要求與框架內的控制系統對應。

常見框架中的關鍵元素

AI 治理框架可能有不同的目標,並可能包含多種元素。其中一些最重要的包括:

  • 模型文件:模型文件詳述所使用的模型、訓練資料及其他因素,以支持可稽核性與問責性。
  • 偏見評估:偏誤評估試圖識別因訓練資料中可能存在的偏誤。
  • 可解釋性:可解釋性指的是理解 AI 模型如何做出決策的能力,支持偏見與錯誤的偵測。
  • 資料控制:資料控制限制 AI 系統可取得的資訊,以保護資料隱私與安全。
  • 影響評估:影響評估評估部署 AI 模型對企業、客戶及社會的潛在影響,以妥善管理任何傷害。
  • 模型漂移監測:模型漂移監測旨在根據模型對額外資料的接觸與持續訓練,偵測其表現隨時間的變化。
  • 訓練紀錄:訓練文件提供模型建立的洞見,並支持審計與合規。
  • 推論程序:推論程序說明模型如何處理輸入以產生輸出,這對於評估生產使用的可靠性非常有用。

組織應如何評估 AI 治理認證選項?

AI 治理認證驗證組織 AI 治理政策的有效性。這些認證可能因多種原因而有用,例如法規遵循或建立與客戶及合作夥伴的信任。

評估 AI 治理認證時,需考慮的主要因素包括:

  • 審計的範圍與頻率
  • 嚴謹度
  • 與內部政策的對齊
  • 與法規要求(如 GDPR、PCI DSS 等)保持一致

AI 治理如何與 SASE 政策控制相符?

若政策未透過技術控管執行,人工智慧治理計畫的效力有限。SASE 架構非常適合執行 AI 政策,因為它對組織的網路流量以及與 SaaS 解決方案及其他程式的互動有深入且全面的可視性。

SWG 在 AI 監督中的角色

SWGs 協助組織監控使用者的網路流量並執行企業安全政策。這些控制可擴展至支援 AI 治理,透過檢查流入 AI 工具的內容,進行資料外洩、提示注入及其他威脅。這種對網路資源的可視化,為日益增長的 AI 支援 SaaS 工具提供了關鍵的控制權。

DLP 在防止資料外洩中的角色

資料遺失防護(DLP)工具旨在識別並阻止敏感資料與未經授權的接收者共享。隨著 AI 的興起,DLP 的使用範圍擴大,包括限制敏感資料與 AI 工具分享或被 AI 代理竊取。雖然 DLP 無法管理提示注入及類似風險,但可透過控制敏感資料存取來降低其影響。

辨識影子 AI 工具

隨著 SaaS 軟體、瀏覽器應用程式、未經授權的瀏覽器擴充功能及其他未受管理的 AI 工具的普及,影子 AI 成為日益嚴重的威脅。缺乏成熟 AI 治理計畫的組織往往無法掌握這些解決方案,導致資料遺失及其他威脅。透過監控未經授權的 AI 應用程式使用,組織可依據企業政策封鎖或限制其使用。

關於 AI 治理的常見問題

人工智慧治理的目標是什麼?

AI 治理旨在管理 AI 使用風險,涵蓋安全、合規及營運。AI 治理計畫管理 AI 的使用及其流入流出的數據,以降低企業面臨的主要 AI 風險。

什麼是人工智慧治理框架?

AI 治理框架是一種工具,旨在協助組織開發符合安全與合規要求的 AI 治理計畫。其中一個例子是 NIST AI 風險管理框架(AI RMF),該框架詳述了 AI 系統管理的安全最佳實務。

AI 治理如何降低影子 AI 風險?

影子 AI 主要存在風險,當組織無法對未經授權使用 AI 工具進行監控與監控時。AI 治理提供偵測未經授權 AI 使用的能力,並執行企業 AI 政策,使 AI 使用符合企業政策。

誰負責企業中的人工智慧治理?

AI 治理的責任分散在整個組織,因為 AI 可能以多種方式使企業面臨風險。例如,AI 可能帶來網路攻擊、法律訴訟或法規不合規的風險。因此,AI 治理最好由跨職能委員會實施,包括安全、IT、法律及合規團隊,確保 AI 政策與控管符合企業各部門的需求。

AI 治理是否必須用於法規遵循?

雖然法規未必明確要求 AI 治理,但資料保護法如 GDPR 及 NIS2 等法規,往往隱含要求 AI 治理。這是因為 AI 工具可能使敏感資料暴露風險、不當使用受保護資料,或造成影響核心系統運作的故障。人工智慧治理計畫能協助確保遵守這些法規的要求。

人工智慧治理及其在企業安全運營中的角色

隨著企業越來越依賴 AI,讓其能存取敏感資料與關鍵工作流程,AI 治理變得不可或缺。及早定義並執行 AI 治理政策,有助於組織降低高昂事件的風險,並實施能隨時間擴展與成熟的計畫。

在制定 AI 治理關鍵架構時,確保政策與程序由技術控管支持與執行至關重要。否則,影子 AI 與攻擊者可能會違反或繞過政策以達成目標,犧牲組織的安全與法規遵循。

SASE 解決方案非常適合此需求,因為 SWG、DLP 及攻擊面可視化控制也能擴展至涵蓋 AI 威脅與解決方案。將這些能力部署為融合安全平台的一部分,並對所有 WAN 流量有深度可視性,也有助於消除可視性落差並簡化管理。

This page was machine-translated. If you notice any inaccuracies or have feedback, please feel free to send it to us here.