Frontier AI是什麼？

前沿人工智慧指的是處於當前技術水準最前沿的人工智慧系統。這些模型或系統能夠執行各種困難的任務，達到甚至超過當時最強大的模型，並創造異常巨大的機會和異常嚴重的風險。

該術語有意採用動態定義。今天處於前沿地位的模型，隨著性能的提高和類似系統的廣泛應用，將來可能會變得很普通。因此，Frontier AI與其說是一個固定的產品類別，不如說是一種識別在特定時刻最值得密切評估、治理和安全關注的系統的方法。

前沿人工智慧的實用定義

一個有用的定義包含三個部分。首先，Frontier AI 處於當前技術水平的前沿。其次，它功能強大，用途廣泛，能夠處理許多任務，而不是單一的狹窄功能。第三，它的功能非常強大，因此故障、誤用或不安全的部署可能會造成超出普通軟體風險的危害。

政府和安全機構經常將 Frontier AI 描述為功能強大的通用人工智慧，可以執行許多任務，並達到或超過當今最先進的模型。網路安全機構也更廣泛地使用該術語來指任何特定時期最先進的系統，尤其是當這些系統為安全帶來新的益處和風險時。

Frontier AI 的獨特之處

Frontier AI 不僅僅是「規模更大的人工智慧」。差別在於能力。隨著模型功能越來越強大，它們會變得更加有用、更加靈活，也更難用普通的產品測試方法來評估。同一個系統可以編寫程式碼、總結研究成果、跨文件推理、與工具互動、產生有說服力的內容，並幫助使用者規劃複雜的任務。

這種廣度改變了風險狀況。如果一個用於對支援工單進行分類的狹義模型出現故障，其影響有限。將工具、數據、使用者和業務工作流程連結起來的前沿模型可以影響決策、自動化工作或幫助人們在現實世界中採取行動。模型的功能、存取權限和部署環境都很重要。

Frontier AI 對相關術語

人工智慧領域中有幾個術語與前沿人工智慧重疊，但它們的含義並不相同。

學期	它的意義	它與 Frontier AI 的區別
Frontier AI	目前技術性能最強的AI系統，通常是通用型或功能強大的模型。	不斷變化的概念：隨著領域的發展，何為前沿也在不斷變化。
高階人工智慧	更廣義的術語，指功能強大的AI系統，包括一些可能並非處於當前能力極限的系統。	通常與 Frontier AI 重疊，但精確度可能較低。
基礎模型	基於廣泛資料訓練的模型，可以適應許多下游任務。	許多前沿模型都是基礎模型，但並非所有基礎模型都是前沿模型。
生成式人工智慧	能夠創建文字、圖像、音訊、視訊或程式碼等內容的AI。	前沿人工智慧通常包含生成模型，但前沿能力關乎效能和風險，而不僅僅是內容生成。
通用人工智慧（AGI）	一個備受爭議的概念，通常指的是具有廣泛、人類水平或超越人類的通用能力的人工智慧。	前沿人工智慧是當今的政策和技術術語；通用人工智慧則更具推測性，定義也更不統一。

最簡單的區別：前沿人工智慧指的是當前技術能力的極限。基礎模型描述了一種訓練和適應模式。生成式人工智慧指的是創造內容的能力。通用人工智慧（AGI）是一個更廣泛、更具爭議性的面向未來的概念。

前沿人工智慧能力範例

前沿人工智慧系統通常需要根據其除簡單文字生成之外的能力進行評估。例如：

• 對長文檔、程式碼庫、科學資料或多步驟問題進行高階推理。
• 程式碼生成、調試、工具使用以及與軟體開發環境的交互作用。
• 跨文字、圖像、音訊、視訊和結構化資料的多模態理解和生成。
• 透過代理程式、外掛程式、API、瀏覽器、檔案或企業工具進行規劃和任務執行。
• 在網路安全、生物學、化學、法律、金融、工程和營運等領域提供專業協助。

單憑功能本身並不能說明系統不安全。令人擔憂的是，當強大的能力與薄弱的安全保障、敏感存取權限、高度自主性、薄弱的監控或惡意使用相結合時會發生什麼。

前沿人工智慧為何引發安全擔憂

前沿人工智慧之所以重要，是因為它的能力可以降低複雜工作的成本。這或許是件好事：科學發現、軟體生產力、教育、無障礙存取和安全分析都可能從中受益。但較低的門檻也適用於濫用行為。

風險區域	為什麼這很重要
網路濫用	強大的模型可能會降低網路釣魚、漏洞發現、惡意軟體開發或社會工程攻擊的門檻。
生物安全和化學品濫用	一些評估旨在檢驗模型是否能夠有效地幫助使用者執行危險的生物或化學任務。
自主性和能動性	使用工具的系統可能會進行規劃、呼叫 API、編寫程式碼或跨系統執行操作，從而增加錯誤或操縱的影響。
說服與操縱	能夠產生逼真的語言、圖像、音訊或視訊的模型可用於欺騙、詐騙或影響行動。
失控	一些安全工作研究模式是否會抵抗監管、欺騙操作人員、自我複製或追求非預期目標。
濃度和獲取	前沿系統所需的運算能力、數據、專業知識和基礎設施可能會將能力集中在少數參與者手中。

最可靠的安全措施不會把每一種風險都視為必然發生。相反，它會問系統能做什麼，使用者有多容易引發危險行為，安全措施是否有效，以及如果系統被廣泛部署或連接到強大的工具會發生什麼。

Frontier AI 的評估方式

Frontier AI 評估的範圍比一般模型基準測試更廣。標準基準可以衡量推理、編碼或語言表現，但前沿評估也會考慮與安全相關的屬性：濫用能力、穩健性、安全性、自主性、欺騙性和壓力下的行為。

常用的評估方法包括：

• 能力測試，以了解模型能做什麼和不能做什麼。
• 紅隊演練旨在探測有害輸出、越獄、危險指令或不安全工具的使用。
• 對模型、訓練流程、部署環境和相關係統進行網路安全評估。
• 安全測試用於檢查策略、過濾器、存取控制和監控在實務上是否有效。
• 部署後監控，以偵測實際環境中的誤用、模型漂移、意外行為或故障。

沒有哪一項評估能夠證明前沿系統是安全的。評估為決策提供證據：是否部署、限制存取、增加控制、更密切地監控，或在更好地了解風險之前暫緩執行某項功能。

前沿人工智慧治理

前沿人工智慧治理的重點在於建構、部署和提供對最強大模型的存取權限的參與者。它可以包括模型評估、分階段發布、安全開發實踐、事件報告、模型卡或系統卡、獨立測試、存取控制以及圍繞危險能力閾值的承諾。

NIST 的 AI 風險管理框架是一個有用的基礎，因為它圍繞著治理、映射、衡量和管理來建立 AI 風險管理框架。對於生成式人工智慧，NIST AI 600-1 增加了更具體的風險管理指導。這些框架本身並不能定義前沿人工智慧，但它們提供了組織可以應用於前沿系統的語言和實踐。

常見問題解答

什麼因素使人工智慧系統成為「前沿」系統？

當一個人工智慧系統在能力上接近當前最先進的水平，能夠執行各種複雜的任務，並且產生的風險或影響足夠大，需要進行特殊評估和治理時，它通常被認為是前沿的。

為什麼各國政府都關注前沿人工智慧？

各國政府關注前沿人工智慧，是因為最強大的系統可能會帶來異常巨大的好處和風險，包括在網路安全、生物安全、說服、自主性和關鍵基礎設施等領域的濫用。

規模較小或應用範圍較窄的人工智慧系統能否成為尖端技術？

有時。這個術語通常用於強大的通用模型，但一些安全組織也會將尖端且具有高潛在危害性的窄型系統視為窄型系統。

企業該如何管理前沿人工智慧風險？

他們應該評估能力和濫用潛力，限制敏感訪問，保護模型和資料管道，測試安全措施，監控實際使用情況，並將治理與 NIST AI RMF 和生成式 AI 風險概況等框架保持一致。

結論

前沿人工智慧代表著人工智慧能力的尖端發展。它描述的是在特定時間點能夠發揮最大作用的系統，而不是一類永久的模型。正是這種不斷變化的特性使得這個術語非常重要：當功能快速變化時，普通的軟體審查是不夠的。

正確的應對方式既不是恐慌也不是炒作。它需要仔細評估、安全部署、明確問責制，以及與系統能力和存取權限相符的控制措施。前沿人工智慧可以創造真正的價值，但功能最強大的系統理應受到最嚴格的審查。