什麼是人工智慧供應鏈風險和第三方模型風險？

AI 供應鏈風險和第三方模型風險描述了當組織的 AI 系統依賴它沒有建構且無法完全控制的資料、模型、平台、基礎設施或整合時，組織所面臨的風險。

這兩個術語相關，但不能互換使用。AI 供應鏈風險是一個廣義的概念：每一個可能影響最終系統的外部資料集、基礎模型、微調服務、託管層、外掛程式、API、代理程式和供應商。第三方模型風險的範圍較窄：指使用他人提供的模型所帶來的風險。

這種區別很重要，因為第三方人工智慧通常被視為普通的供應商軟體。它的行為方式不同。模型在上線後可能會發生變化，依賴未知數據，產生難以解釋的輸出，或連接到會產生新的安全和合規風險的工具。使用該系統的組織仍然需要對其業務表現負責。

快速定義

人工智慧供應鏈風險

人工智慧供應鏈風險是指人工智慧系統背後的外部投入和供應商所帶來的綜合風險。這可能包括訓練資料、資料經紀人、模型開發者、微調供應商、託管平台、推理服務、插件、API、代理和其他整合層。

實際的理念是累積。每一層都可能引入弱點，而這些弱點會向下蔓延，最終影響部署系統的組織。資料來源、模型沿襲、託管安全、存取控製或整合設計方面的缺陷可能會影響最終輸出或決策。

與軟體供應鏈風險相比，人工智慧也增加了一些更難察覺的依賴：訓練資料來源、模型沿襲、模型行為、評估品質以及模型在重新訓練、微調或更新過程中出現的漂移。

第三方模型風險

第三方模型風險是指當一個組織使用並非由其自行建構且無法完全檢查或控制的人工智慧模型時所產生的風險敞口。該模型可透過 API 訪問，嵌入供應商平台內，獲得特定用例的許可，或從模型庫下載。

核心問題是控制力有限。提供者可能了解培訓資料、架構、評估歷史、更新計劃、安全測試和子處理器。客戶可能只能看到介面、文件和輸出結果。這種差距使得驗證、可解釋性、可審計性和問責制更加困難。

第三方模型風險是人工智慧供應鏈的一部分。人工智慧供應鏈風險是針對特定模型的，同時還包括周圍的數據、工具、基礎設施、整合和上游供應商。

人工智慧供應鏈：參與方有哪些？

一個常見的錯誤是將整個人工智慧供應鏈簡化為直接供應商。實際上，人工智慧產品通常依賴多個層面，而每個層面都會帶來不同類型的曝光。

培訓數據提供者和數據經紀商

這一層包括資料經紀人、標註供應商、網路抓取資料集、專有資料集和合成資料提供者。主要問題包括同意、許可、智慧財產權、隱私、品質、代表性，以及訓練集中是否包含敏感或受保護的資料。

基礎模型開發者

基礎模型開發者建立通用模型，供其他組織使用、微調或嵌入。下游客戶通常對訓練資料、架構、評估實務和模型變更過程的了解有限。

微調和自訂層

供應商可能會針對特定用例調整基礎模型，例如履歷篩選、核保、詐欺偵測、臨床支援或客戶支援。客製化可以提高性能，但也可能引入新的偏差，降低可追溯性，或使血統更難解釋。

託管、推理和計算基礎設施

模型可在雲端平台、推理服務、託管人工智慧平台或邊緣基礎架構上運作。這一層帶來了安全性、可用性、資料處理和集中性方面的問題，尤其是在許多組織依賴相同供應商的情況下。

插件、API、代理和整合工具

現代人工智慧系統很少只是一個模型。他們稱之為檢索工具、瀏覽器插件、外部 API、工作流程自動化和代理。這些整合可能成為快速注入、資料外洩、權限過大和第三方暴露的入口點。

部署組織

部署組織是指在實際業務流程中使用該系統的公司。供應商可以提供模型，但使用模型的組織仍然決定用例、監督模型、資料輸入、升級路徑和可接受的風險等級。

這與傳統供應商風險有何不同？

傳統的第三方風險管理是圍繞著相對穩定的供應商、服務、控制措施和合約建立的。人工智慧從多個方面改變了這種模式。

模型不斷變化。第三方模型在上線後可以進行重新訓練、微調、重新版本化或連接到新工具。一次審查可能無法描述系統後續的運作。

不透明度屬於正常現象。客戶可能不了解模型架構、訓練資料、測試歷史、子處理器或上游相依性。這使得驗證和審計工作更加困難。

危害會迅速擴大。人工智慧系統可以自動且大規模地影響決策。上游資料集、模型更新或整合方面的缺陷可能會在問題被發現之前影響許多下游決策。

問責制不會消失。根據法律、合約、行業和用例，部署組織可能仍需要對人工智慧系統如何影響客戶、員工、患者、申請人或受監管的決策負責。

主要風險類別

模型和數據不透明度

組織可能無法解釋為什麼某個模型會做出某個決策，哪些資料影響了該決策，或哪些上游提供者影響了該決策。這會為公平性、可解釋性、可審計性和合規性帶來問題。

偏見和歧視性結果

偏見可能透過訓練資料、模型設計、微調資料或部署環境進入。如果第三方招聘、貸款、保險、福利或風險模型產生歧視性結果，部署該模型的組織仍可能面臨法律、營運和聲譽方面的後果。

資料隱私和培訓資料濫用

第三方人工智慧引發了人們的疑問：客戶資料、個人資料、受保護的健康資訊、原始碼或專有資料是否會被用於訓練、保留、評估或產品改進。這些爭議可能在部署很久之後才會出現。

安全與對抗風險

AI 供應鏈引入了攻擊面，例如快速注入、模型洩漏、不安全的插件、不安全的代理、易受攻擊的開源元件、被破壞的模型儲存庫以及透過整合造成的資料外洩。

監理與合規風險

第三方人工智慧服務可能無法滿足醫療保健、金融、就業、保險、關鍵基礎設施或其他受監管領域的特定行業要求。當受監管組織依賴上游供應商時，合規性問題可能會向下蔓延。

集中風險

許多組織依賴同一小群基礎架構模型供應商、雲端平台、模型中心和基礎設施供應商。一家廣泛使用的供應商出現故障、中斷、違規、許可變更或模型缺陷，可能會同時影響許多下游組織。

動態模型漂移

第三方模型可能會在審核後發生變化。供應商可能會更新模型版本、使用新資料重新訓練、調整閾值或更改防護措施。這些變化可能會改變績效、偏見和合規態度，而無需客戶做出任何直接改變。

治理差距

外部人工智慧的應用速度比大多數治理專案都要快。許多組織現在透過 SaaS 產品、API、嵌入式助理、工作流程工具和供應商平台使用人工智慧，但他們卻沒有可靠的清單來了解這些系統位於何處或它們依賴哪些外部模型。

這種差距很容易被忽略，因為人工智慧組件可能隱藏在人們熟悉的產品中。採購團隊可能會批准協作平台、幫助台工具、程式碼助理、分析服務或人力資源平台，而無需了解模型提供者、培訓資料策略、保留設定或功能背後的下游整合。

標準供應商提供的證據仍然很重要，但僅憑這一點是不夠的。SOC 2 報告可以幫助評估安全控制措施，但通常無法回答有關訓練資料來源、模型偏差、可解釋性、漂移、評估品質或更新治理等特定模型的問題。AI供應鏈審查必須填補這一額外環節。

它與相鄰概念的關係

治理與控制義務

管理人工智慧供應鏈風險不僅僅是填寫供應商問卷那麼簡單。組織需要了解人工智慧的透明度、風險分級、特定合約條款、測試、監控和監管合規性。

庫存和供應鏈圖

首先清點外部 AI 模型、AI 支援的 SaaS 功能、基礎模型提供者、資料提供者、整合工具、代理和關鍵基礎設施依賴項。該地圖應包含直接供應商和重要的上游供應商。

基於風險的分級

並非所有人工智慧工具都值得進行同樣的評測。低風險的文書起草助理與自動化信用決策引擎、就業篩選工具或臨床支援系統並不相同。高影響力系統需要更深入的測試、記錄、審批、監控和人工監督。

合約控制

人工智慧供應商合約應涵蓋普通供應商協議往往忽略的控制措施：

• 可存取模型文件、測試結果、評估方法和效能報告。
• 重要模型更新、版本變更以及重大政策或條款變更的通知。
• 未經書面同意，禁止將客戶資料用於模型訓練。
• 揭露子處理器、第四方和重要的上游相依性。
• 審計權、透明度報告和事件通知義務。
• 關鍵人工智慧組件的連續性、回滾和退出計畫。

測試與證據

對於風險較高的使用場景，組織應要求提供與人工智慧系統將影響的決策相符的證據。這可能包括評估結果、偏差測試、安全測試、紅隊調查結果、模型卡、資料文件、版本歷史記錄以及預期用途的限制。

持續監測

系統上線後仍需繼續監控，因為系統可能會變更。有用的觸發因素包括模型版本變更、新的子處理器、針對提供者的監管行動、效能變化、漂移訊號、新的整合或模型的新用例。

監管協調

多種框架和機制可以塑造人工智慧供應鏈治理。NIST AI 風險管理框架是一個用於管理 AI 風險和可信度的自願性框架。ISO/IEC 42001 規定了人工智慧管理系統的要求。歐盟人工智慧法案為某些提供者和部署者制定了基於風險的法律義務，包括對高風險人工智慧系統制定更嚴格的義務，以及對通用人工智慧模型製定規則。特定行業的規則可以增加銀行、醫療保健、就業、保險和關鍵基礎設施等方面的額外義務。

常見問題解答

人工智慧供應鏈風險和第三方模型風險有什麼區別？

人工智慧供應鏈風險是指從外部資料、模型、基礎設施、整合和供應商等方面繼承的廣泛風險敞口。第三方模型風險是此鏈條的一部分：使用貴組織未建置或未完全控制的模型所帶來的風險。

什麼是第三方人工智慧風險？

N方人工智慧風險是指來自供應商的供應商的風險。例如，您的直接人工智慧供應商可能依賴另一家公司的基礎模型、資料標註提供者、託管平台、模型儲存庫或插件生態系統。

SOC 2 是否涵蓋人工智慧特有的風險？

不完全是。SOC 2 對於安全性和可用性控制很有用，但它本身並不能回答有關訓練資料來源、模型偏差、可解釋性、模型漂移或模型更新治理的 AI 具體問題。

人工智慧供應鏈中的集中風險是什麼？

集中風險是指許多組織依賴同一小群基礎架構模型、雲端、資料或基礎設施供應商而產生的系統性風險。一家廣泛使用的服務提供者出現故障，可能會同時影響許多下游組織。

結論

AI 供應鏈風險和第三方模型風險從兩個角度描述了同樣的轉變：組織越來越依賴他們沒有完全建構的 AI，而結果的責任仍然由部署系統的組織承擔。

實際的因應措施是繪製人工智慧供應鏈圖，了解風險從何而來，按影響程度對系統進行分級，編寫人工智慧專用合約控制措施，要求提供證據，並隨著時間的推移監控模型。供應商可以提供模型、數據或平台。它無法消除由此產生的商業後果。