美國《人工智能風險管理框架》解讀

孔勇 李美桃 王偉 鮑旭華

美國人工智能公司OpenAI于2022年11月30日開放測試ChatGPT，此后ChatGPT風靡全球。隨著全球人工智能規模化建設和應用加速，人工智能基礎設施、設計研發以及融合應用面臨的安全風險日益凸顯。

2023年1月26日，美國國家標準技術研究院（NIST）正式發布《人工智能風險管理框架》的1.0版本（以下簡稱“AI框架”），旨在為設計、開發、部署和使用人工智能系統的個人和組織提供指南，以幫助管理人工智能的諸多風險，并促進開發和使用可信賴和負責任的人工智能系統，降低應用人工智能技術的風險。該AI框架從2021年7月開始籌備，歷時18個月，經過多次草案修改，最終正式發布。

一、框架概述

AI框架給出了人工智能系統的定義，概述了可信賴人工智能系統的特征，明確了人工智能系統與傳統軟件相比新增的許多獨特的風險。AI框架主要內容包括兩部分：第一部分探討人工智能相關風險的梳理和框架構建方法，第二部分介紹該框架的四個核心功能，即治理、映射、測量和管理，以幫助各個組織在實踐中解決人工智能系統存在的風險。

（一）人工智能定義與其獨特風險

框架延續了經合組織（OECD）對人工智能的定義，將人工智能系統定義為：一個基于機器的工程或系統，其可以針對特定目標生成預測、建議或決策去影響真實或虛擬環境，并可在不同程度上自治運行。

盡管已經有許多技術標準和最佳實踐可以幫助減輕傳統軟件信息系統的風險，但人工智能系統帶來的安全風險在許多方面都是獨特的。與傳統軟件相比，人工智能系統新增的特定風險包括：

用于構建人工智能系統的數據可能不是人工智能系統預期用途的真實或合理表示。此外，有害的偏見和數據質量問題可能會影響人工智能系統的可信度，從而導致負面影響。

人工智能系統很大程度依賴訓練任務的數據，通常與此類數據的數量增加具有較大相關性。同時，用于訓練人工智能系統的數據集可能會脫離其原始環境，或者可能會相對于應用環境變得陳舊或過時。

人工智能系統增強的數據聚合能力帶來的隱私風險。

訓練期間有意或無意的改變可能會從根本上改變人工智能系統的性能。使用預先訓練的模型來推進研究并提高績效，也會增加統計不確定性水平，并導致偏差管理、科學有效性和再現性問題。

增加了軟件透明度和對再現性的擔憂。無法預測或檢測基于人工智能的系統超出統計指標的副作用。由于數據、模型或概念漂移，人工智能系統可能需要更頻繁地維護和觸發來進行糾正性維護。

（二） 可信賴人工智能特征

AI框架闡明了可信賴的人工智能系統的7個特點，包括：有效和可靠、功能安全、安全和韌性、負責任和透明、可理解性和可解釋性、隱私增強、公平和有害偏見管理。

1. 有效和可靠

有效和可靠是可信的必要條件，也是其他可信特征的基礎。國際標準ISO/IEC TS 5723：2022《可信度詞匯》中將“有效性”定義為“通過提供客觀證據，確認特定預期用途或應用的要求已得到滿足”。人工智能系統的應用部署設計本身存在問題，或對超出其訓練范圍的數據和設置的通用性較差，則會產生人工智能的負面風險，降低其可信度。“可靠性”是人工智能系統在預期使用條件下和給定時間段（包括系統的整個壽命周期）內運行的總體正確性的目標。

2. 功能安全

功能安全是指人工智能系統應“在規定的條件下，不會導致人類生命、健康、財產或環境受到威脅”。不同類型的人工智能安全風險的管理工作需要基于所呈現的潛在風險的背景和嚴重程度進行定制。構成嚴重傷害或死亡的潛在安全風險需要最緊急的優先順序和最徹底的風險管理流程。

3. 安全和韌性

如果人工智能系統及其部署的生態系統能夠承受環境或使用中的意外不利事件或意外變化，或者能夠在內部和外部變化面前保持其功能和結構，并在必要時能夠平穩地降低安全級別，則可以說人工智能系統具有韌性。常見的安全問題涉及對抗性示例、數據中毒以及通過人工智能系統端點過濾模型、訓練數據等。

4. 負責任和透明

可信賴的人工智能取決于問責制，問責以透明度為前提。透明度反映了與人工智能系統交互的個人可以獲得關于人工智能系統及其輸出的信息的程度，無論他們是否意識到自己正在這樣做。有意義的透明度提供了基于人工智能生命周期階段的適當級別的信息訪問。當人工智能系統發生不正確或導致負面影響的相關問題時，透明度對于采取何種補救措施是至關重要的。透明系統不一定是準確、隱私增強、安全或公平的系統。然而，一個不透明的系統很難具有以上的準確、安全等特征。因此，負責任和透明的特性與其他特征都相關。

5. 可理解性與可解釋性

可理解性指的是人工智能系統運行機制的表示，而可解釋性是指人工智能系統輸出在其設計功能目的背景下的含義。可理解性和可解釋性共同幫助使用或監督人工智能系統的人員以及人工智能系統用戶深入了解系統的功能和可靠性，包括其輸出的合理性。可理解和可解釋的人工智能系統提供的信息將幫助最終用戶了解人工智能系統的目的和潛在影響。

6. 隱私增強

隱私增強一般指有助于維護人類自主、身份和尊嚴的規范和做法。這些規范和做法通常涉及免于入侵、限制觀察或個人機構同意披露或控制其身份的各個方面。與隱私相關的風險可能會影響安全性、偏見和透明度，并與這些其他特征進行權衡。人工智能系統的特定技術特征可能會減少隱私保護。人工智能系統還可以通過允許推斷來識別個人或關于個人的隱私信息，從而給隱私帶來新的風險。

7. 公平和有害偏見管理

人工智能中的公平包括通過解決有害偏見和歧視等問題來關注平等和公平。公平的標準可能很復雜，很難定義，因為不同文化對公平的看法不同，并且可能會因應用而改變。通過認識和考慮這些差異，組織的風險管理工作將得到加強。但是，減輕有害偏見的制度并不一定就是公平的。例如，利用人工智能系統通過數據去預測在不同群體之間可能的特定問題時，由于已有數據無法體現殘疾人等未能有效使用數字現代化能力的人的影響，可能加劇現有的差距或系統偏見。

二、框架構建方法

AI框架的主要內容之一就是人工智能相關風險的梳理和框架構建方法，主要有4方面考量。一是風險框架，包括對風險、影響、危害的理解與處理，以及人工智能風險管理在風險度量、風險容忍度、風險等級排序等方面的挑戰。二是目標受眾，理想情況下，AI框架應當適用于人工智能的全生命周期和多維度活動。三是風險和可信度，AI框架要求可信賴的人工智能系統7個特征條件要在不同情境下需要適當的取舍與平衡，但人工智能系統可信度始終是首要條件和必備基礎。四是有效性評估，要求組織和用戶定期評估AI框架是否提高了其管理人工智能風險的能力，包括但不限于其政策、流程、實踐、實施計劃、指標、度量和預期結果。

（一）風險框架

框架將“風險”定義為事件發生概率和相應事件后果的大小或程度的綜合度量。人工智能系統的“影響”可能是積極的，也可能是消極的，或兩者兼而有之。當考慮潛在事件的負面影響時，風險是：如果情況或事件發生，可能產生的負面影響或危害程度；發生可能性的函數。風險管理是指在風險方面指導和控制組織的協調活動。

在追求人工智能系統可信度時，風險管理應考慮風險度量、風險容忍度、風險等級排序、組織整合四方面因素。

1. 風險度量

人工智能系統風險在沒有明確定義或充分理解的前提下，很難定量或定性地衡量。人工智能系統風險度量的挑戰主要體現在與第三方軟硬件和數據相關的風險、可靠度量的可用性、人工智能生命周期不同階段的風險、實際操作環境與測量不同、不可分割性等方面。

與第三方軟硬件和數據相關的風險：包括來自第三方數據、軟件或硬件本身的風險；開發人工智能系統的組織使用的風險度量方法可能與運營和應用的組織所使用的風險度量方法不一致；開發人工智能系統的組織可能對其使用的風險度量方法不透明。使用第三方數據或將第三方軟硬件系統集成到人工智能系統中，會使得人工智能系統風險度量和管理變得更復雜。

可靠度量的可用性：目前缺乏對風險和可信度的穩健和可驗證的度量方法以及對不同人工智能用例的適用性的共識，這是一個人工智能風險度量挑戰。例如，測量方法可能過于簡單化、缺乏關鍵的細微差別、以意想不到的方式被依賴，或者無法解釋受影響群體和環境中的差異。

生命周期不同階段的風險：在人工智能生命周期的早期階段測量風險可能會產生不同于在后期階段測量風險的結果；一些風險可能在給定的時間點是潛在的，并且可能隨著人工智能系統的適應和發展而增加。此外，人工智能生命周期中的不同人工智能參與者可能具有不同的風險視角。

實際操作環境與測量不同：雖然在實驗室或受控環境中測量人工智能風險可能會在部署前產生重要的見解，但這些測量可能不同于實際操作環境中出現的風險。

不可分割性：不可分割的人工智能系統會使風險度量復雜化。不確定性可能是由于人工智能系統的不透明性（可理解或可解釋性有限）、人工智能系統開發或部署缺乏透明度，或人工智能系統固有的不確定性。

2. 風險容忍度

風險容忍度是指組織或人工智能參與者為實現其目標而承擔風險的意愿。風險容忍度同樣受到法律或監管要求的影響。風險容忍度可能受到人工智能系統所有者、組織、行業、社區或決策者制定的政策和規范的影響。隨著人工智能系統、政策和規范的發展，風險容忍度可能會隨著時間的推移而改變。不同的組織由于其特定的組織優先級和資源考慮，可能具有不同的風險容忍度。

3. 風險等級排序

風險管理的思想可以幫助組織了解并非所有人工智能風險都是相同的，以便可以根據風險等級有目的地分配相應資源。風險管理工作可采取行動為評估組織開發或部署的人工智能系統的可信度制定明確的指南。隨后，應根據評估的風險水平和人工智能系統的潛在影響確定政策和資源分配的優先級。

4. 組織整合管理風險

人工智能參與者在生命周期中的角色不同，就有不同的責任和意識。人工智能風險管理應整合并納入更廣泛的企業風險管理戰略和流程，將人工智能風險與其他關鍵風險（如網絡安全和隱私）一起處理，則能夠產生綜合的結果同時提升效率。組織需要建立和維護適當的角色、責任、問責機制、激勵政策等，通過高層的重視和管理實現有效的風險管理，同時需要組織內對風險認識的意識文化變革。此外，實施人工智能風險管理框架的中小型組織與大型組織所面臨挑戰會因其能力和資源的不同而不同。

（二）目標受眾

AI框架指出，在人工智能全生命周期的不同階段會存在不同的風險，人工智能系統全生命周期中的風險還受不同階段參與人員的影響。因此，框架旨在讓所有人工智能參與者在整個人工智能生命周期維度中共同努力管理風險，從而實現可信賴負責任的人工智能。

1. 人工智能系統全生命周期維度

人工智能系統的全生命周期包括規劃設計、收集處理數據、建立運用模型、驗證和確認、部署使用、運營監控六個階段。人工智能系統的多維度以人為核心，延伸到數據輸入、人工智能模型、任務輸出、應用環境4個關鍵維度，重點是對其進行測試、評估、驗證和確認的TEVV流程。

2. 代表性人工智能參與者

代表性人工智能參與者可以描述為社會組織和具有TEVV特定專業知識的人工智能參與者。其中社會組織可能包括行業協會、標準制定組織、研究人員、民間社會組織、最終用戶以及潛在受影響的個人和社區。他們能夠成為人工智能風險管理的規范和指南的需求來源；指定人工智能運行的邊界（技術、社會、法律和道德層面）；促進對公民自由和權利、公平，以及經濟相關的社會價值和優先事項等進行討論。具有TEVV特定專業知識的人工智能參與者定期執行的TEVV任務可以提供與技術、社會、法律和道德標準或規范相關的見解，并可以幫助預測影響、評估和跟蹤風險。作為人工智能生命周期中的一個常規過程，TEVV允許進行中期補救和事后風險管理。

總之，成功的風險管理取決于人工智能參與者的集體責任感，多樣化的團隊有助于更開放地分享人工智能技術的想法和假設。AI框架的成功也需要不同的學科、專業和經驗的參與人的視角，只有更廣泛的集體視角才能為發現問題和識別現有風險創造機會。

（三） 風險和可信度

AI框架概述了人工智能7個可信度特征，它們之間相互影響。任何一個維度的不可信都是不可取的。例如，高度安全但不公平的系統、準確但不可解釋的系統、增強隱私但不準確的系統都是不可取的。因此，全面的風險管理方法需要在可信度特征之間進行權衡。所有人工智能參與者都有責任確定人工智能技術能夠在特定環境發揮必要的預期作用，以及如何負責任地使用它。

有效和可靠：部署的人工智能系統的有效性和可靠性通常通過持續測試或監控來評估，以確認系統按預期運行。人工智能風險管理工作應優先考慮將潛在負面影響降至最低，并保證在人工智能系統無法自我糾正錯誤的情況下能夠進行人為干預。

功能安全：在生命周期中必須考慮功能安全，并盡早開始規劃和設計，以防止可能導致系統危險的安全故障。人工智能系統功能安全的其他實用方法通常涉及嚴格的模擬和域內測試、實時監控，以及關閉、修改或人為干預偏離預期功能的能力。

安全和韌性：通過防止未經授權的訪問和使用的保護機制，可以保持機密性、完整性和可用性的人工智能系統是安全的。NIST網絡安全框架和風險管理框架中的指南適用于此處。安全和韌性是相關但不同的特征。雖然韌性是指在發生意外不利事件后恢復正常功能的能力，但安全性包括韌性，還包括避免、防范、響應或從攻擊中恢復的能力。

負責任和透明：在尋求對人工智能系統的結果負責時，應考慮人工智能參與者的作用。與人工智能系統相關的風險和責任關系在文化、法律、部門和社會背景中有著廣泛的不同。當后果嚴重時，人工智能開發人員和部署人員應考慮主動調整其透明度和問責制做法。同時，保持訓練數據的來源并支持將人工智能系統的決策歸因于訓練數據子集，可以有助于提高透明度和問責制。

可理解與可解釋性：缺乏可解釋性可以通過描述人工智能系統的功能來避免該風險發生，并根據用戶的角色、知識和技能水平等個人差異進行描述。透明度、可理解性和可解釋性是相互支持的不同特征。透明度可以回答系統中“發生了什么”的問題。可理解性可以回答“如何”在系統中做出決策的問題。可解釋性可以回答系統做出決策的“原因”及其對用戶的意義。

隱私增強：用數據最小化等人工智能的隱私增強技術，可以支持人工智能系統的隱私增強設計。當然，在數據稀疏等特定條件下，隱私保護技術可能會導致準確性的損失，從而影響某些領域中關于公平性和其他值的決策。

公平和有害偏見管理：NIST確定了需要考慮和管理的三大類人工智能偏見：系統性、計算和統計性、人類認知性。偏見以多種形式存在，雖然偏見并不總是一種負面現象，但人工智能系統可能會因數據和算法而增加偏見的速度和規模，使對個人、群體、社會的傷害永久化和擴大化。偏見與社會中的透明度和公平觀念密切相關。

（四）有效性評估

AI框架要求組織和用戶定期開展有效性評估，涉及對政策、流程、實踐、實施計劃、指標、度量和預期結果的定期評估，以確定其管理人工智能風險的能力是否提高。NIST將與其他機構合作制定評估AI框架有效性的指標、方法和目標，并廣泛分享成果信息。

通過有效性評估，用戶將得益于以下方面能力的增強：一是加強人工智能風險的治理、映射、測量和管理流程，并清晰記錄結果；二是提高對可信度特征、社會技術方法和人工智能風險之間的權衡；三是制定系統調試和部署應用的明確流程；四是制定政策、職責、實踐和程序，以改善與人工智能系統風險相關的組織問責工作；五是加強組織文化，優先識別和管理人工智能系統風險和潛在影響；六是在組織內部和組織之間更好地共享信息，包括風險、決策過程、責任、常見缺陷、TEVV實踐和持續改進方法等；七是增強人工智能系統的TEVV和應對相關風險的能力。

三、框架核心功能

AI框架的另一個主要內容就是介紹其4個核心功能，即治理、映射、測量和管理，以幫助組織在實踐中解決人工智能系統的風險。這些功能進一步細分為類別和子類別。其中，治理適用于組織人工智能風險管理流程的所有階段，映射、測量和管理功能可應用于人工智能系統特定環境和人工智能生命周期的特定階段。

（一）治理

治理是貫穿人工智能系統風險管理全過程、與其他三項功能有交叉的基礎性功能，對治理的持續關注是對人工智能系統全生命周期實行有效風險管理的內在要求。強有力的治理可以推動和加強內部實踐和規范，以促進組織風險管理。通過治理可以確定使命、目標、價值觀、文化和風險承受能力的總體政策；高級領導層為組織內的風險管理以及組織文化奠定基調；建立治理政策中描述的結構、系統、流程和團隊；管理層將人工智能風險管理的技術方面與政策和運營保持一致；文檔可以提高透明度，改進人工審核流程，并加強人工智能系統團隊的問責制。

治理功能具體包括6個類別和19個子類。其中6個類別主要包括：一是與其他三項功能相關的政策、流程、程序和實踐均應完善透明且有效實施；二是完善問責機制，便于相關人員獲得授權和培訓，有效負責其他三項功能開展；三是優先考慮團隊的多樣性、平等性、包容性和可訪問性；四是建設風險警鐘長鳴的管理團隊，完善風險信息交流共享；五是保持與人工智能系統用戶的密切聯系，跟蹤并及時反饋對社會和用戶的潛在影響；六是完善解決機制，及時處理由第三方軟件、數據、供應鏈引發的風險和潛在影響。

（二）映射

由于人工智能系統的全生命周期涉及眾多環節和參與人員，單一環節的負責人很難對最終結果和潛在影響進行通盤考慮，這種復雜性和不可預見性為人工智能系統的風險管理帶來了不確定性。映射功能通過整合來自不同內部團隊的觀點以及與開發或部署人工智能系統的團隊人員的互動，收集外部合作者、最終用戶、潛在受影響社區等廣泛的觀點，構建人工智能系統風險管理的背景因素，幫助組織主動預防負面風險。

完成映射功能，框架用戶應具有關于人工智能系統影響的充分背景知識，以決策是否設計、開發和部署人工智能系統的初始決定。通過映射會獲得如下能力：提高理解人工智能應用背景因素的能力；檢查對使用環境的假設；識別系統在其預期環境的功能；確定人工智能系統的積極和有益用途；提高對人工智能和機器學習流程局限性的理解；確定現實應用中可能導致負面影響的約束條件；預測使用超出預期用途的人工智能系統的風險。

映射功能具體包括5個類別和18個子類。其中5個類別主要包括：一是明確系統運行的相關背景因素和預期環境；二是進行系統分類，明確人工智能系統支持的任務和具體方法；三是了解系統功能、目標用途、成本收益等信息；四是將風險和收益映射到系統的所有組件和環節，包括第三方軟件和數據；五是評估對個人、群體、組織、社會的潛在有益和有害影響。

（三）測量

測量是指采用定量、定性或混合工具，對人工智能系統的風險和潛在影響進行分析、評估、測試和控制。人工智能系統在部署前和運行中均應當定期測試，對系統功能和可信度的各個方面如實記錄。測量職能部門應設置嚴格的軟件測試和性能評估要求，采取不確定性度量、性能基準比較、結果記錄和正式報告等方式方法。此外，獨立審查可以提高測試的有效性，并可以減輕內部因潛在利益沖突導致的偏見問題。

度量和測量方法應遵循科學、法律和道德規范，并在公開和透明的過程中進行。應考慮不同測量類型為人工智能風險評估提供有意義的信息的程度，開發新的定性和定量測量類型。通過測量功能實施，框架用戶將增強其綜合評估系統可信度、識別和跟蹤風險，以及驗證度量有效性的能力。隨后，管理功能將利用測量結果來協助風險監測和風險應對工作。

測量功能包括4個類別和22個子類。其中4個類別主要包括：一是確定并采用適當的方法和指標，定期記錄、評估和更新；二是評估系統的可信性特征，涉及代表性、有效性、安全性、穩健性和可持續性等；三是完善特定風險識別跟蹤機制，有效處理現有的、未知的、緊急的各種風險；四是定期評估和反饋測量功能的有效性，如實記錄相關信息和結果。

（四）管理

管理涉及對系統風險因素的定期映射和測量，包括對事故和事件的響應、補救和溝通，以減少系統故障和負面影響的可能性，并根據評估結果制定風險優先等級計劃、定期監測和改進計劃。通過管理功能實施，框架用戶增強了對人工智能系統風險管理的能力，并有效配置風險管理資源。隨著人工智能參與者的環境、背景、風險和需求或期望的不斷變化，框架用戶有責任持續將管理功能應用于已部署的人工智能系統。

管理功能包括4個類別和13個子類。其中4個類別主要包括：一是基于映射和測量功能的評估和分析結果，對系統風險進行判定、排序和響應；二是制定實施最大化收益和最小化負面影響策略，明確風險響應步驟；三是有效管理來自第三方的風險和收益，定期監控記錄；四是完善風險響應和恢復機制，對已識別、可測量的系統風險加強溝通交流和記錄監控。

四、總結

美國NIST公布的《人工智能風險管理框架》為人工智能治理和人工智能安全風險管理提供了有益參考。AI框架給出了人工智能系統的定義，概述了可信賴人工智能系統的特征，明確了人工智能系統與傳統軟件相比新增的許多獨特風險，重點探討人工智能相關風險的梳理和框架構建方法，詳細介紹了AI框架的“治理、映射、測量、管理”4個核心功能，為設計、開發、部署和使用人工智能系統的個人和組織提供指南，以幫助組織在實踐中認識、管理人工智能系統的諸多風險。

通過分析可得，此次正式發布的AI框架主要包括3個特點。一是AI框架并非強制性技術標準，強調自愿使用、支持創新與合作的原則。尤其在風險度量、可信度權衡、框架有效性評估、框架配置文件等方面具有一定不確定性，NIST也明確愿意與相關方共同合作推進框架應用，以增強人工智能系統安全風險管理。二是AI框架重視全局視角的風險管理，包括人工智能系統全生命周期和人工智能全部參與者視角。強調全生命周期的6個階段4個關鍵維度和TEVV重點流程，指出成功的風險管理需要人工智能參與者的集體責任感和不同學科、專業和經驗的參與人的廣泛合作。三是AI框架給出了核心功能、類別和子類的詳細功能描述，能夠更好地指導風險管理工作落地。AI框架主要介紹了“治理、映射、測量和管理”4個核心功能，明確了各核心功能之間的關系，并通過19個類別和72個子類進行了詳細描述。

總之，人工智能逐漸在人類社會場景中發揮作用，其治理與安全仍然處于摸索階段。人工智能安全的法規、政策、標準是當今世界各國關注的重點，也是實踐中亟待解決的關鍵問題，未來還有很長的路要走。