論算法審計結果及其運用

【摘要】算法審計涉及諸多基礎性問題， 本文聚焦算法審計結果及其運用這一重要的基礎性問題， 以經典審計理論為基礎， 提出算法審計結果及其運用的一個理論框架。算法審計結果包括算法審計發現、 算法審計結論、 算法審計建議和算法審計信息四種類型， 各類算法審計業務都可能產生這些審計結果。算法審計結果的運用者是資源類委托代理關系中的委托人、 代理人、 審計機構和其他利益相關者， 在不同的算法委托代理關系中， 上述四者不同。

【關鍵詞】算法審計結果；算法審計發現；算法審計結論；算法審計建議；算法審計信息

【中圖分類號】F239.44" " " 【文獻標識碼】A" " " 【文章編號】1004-0994（2024）24-0063-5

一、 引言

人工智能（AI）已成為現代經濟社會發展的重要驅動力之一， 在提升生產效率、 優化服務質量、 推動技術創新、 改善生活品質等方面發揮了顯著作用。算法是人工智能的靈魂， 其賦予人工智能系統以學習、 理解和執行任務的能力， 從而推動智能系統的進化和應用。然而， 算法也帶來需要人類認真對待的負面問題。為了應對這些負面問題， 必須建構算法治理體系， 算法審計是這個體系的重要成員， 其基于審計固有功能在應對算法負面問題中發揮重要作用。

算法審計真正發揮作用的前提是建構科學的算法審計制度， 正確認知算法審計各基礎性問題是科學建構算法審計制度的前提， 算法審計涉及的基礎性問題較多， 本文聚焦算法審計結果及其運用。現有文獻中， 算法審計結果及其運用相關研究剛剛起步， 整體來說， 算法審計結果及其運用的理論框架尚未形成。本文以經典審計理論為基礎， 提出算法審計結果及其運用的一個理論框架， 以深化人們對算法審計結果及其運用的認知， 并為建構和完善算法審計結果及其運用相關制度提供理論參考。

二、 文獻綜述

一些文獻涉及算法審計結果及其運用， 本文將相關內容歸納為兩類， 一是對算法審計結果的要求及對算法審計結果運用狀況和運用要求的分析， 二是算法審計結果公開及其效果。

1. 對算法審計結果的要求及對算法審計結果運用狀況和運用要求的分析。一些文獻對算法審計結果提出了要求。DRCF（2022）提出， 算法審計的主要輸出可能是一份詳細說明審計方法和評估結果的報告。Khoa Lam等（2023）提出， 外部合規和確認的算法審計同樣旨在向利益相關者保證算法系統是以負責任和透明的方式設計、 構建、 部署和管理的。

一些文獻提出了對算法審計結果運用狀況的看法。部分文獻認為， 算法審計結果運用產生了積極的作用。Abeba Birhane等（2024）認為， 對人工智能系統的表現及影響進行評估是增強人工智能責任的有效手段。然而， 人工智能審計是否真的有效果并無定論， 為此， 他們分析了律師事務所、 民間組織、 記者、 科學家和咨詢機構所實施的算法審計（都是算法影響評估）， 結果發現這些算法審計都在特定的場景中發揮了作用， 因此他們認為算法審計是強化算法責任的有用機制（a meaningful mechanism for accountability）。也有一些文獻對算法審計的效果持懷疑態度。Raji等（2020）認為， 審計結果有時會受到懷疑， 因為它們依賴于人類的判斷， 且容易受到人類判斷的影響。Merrer等（2022）認為， 審計結果的法律價值不確定。Abeba Birhane等（2024）認為， 人工智能審計研究結果并沒有始終如一地轉化為監管系統更具體的目標， 例如影響自愿的公司行動或內部公司政策， 導致產品召回， 為產品的重新設計提供信息， 以及以標準、 禁令、 限制或暫停使用的形式制定更廣泛的政府政策和監管制度。

一些文獻提出了如何運用算法審計結果的建議。莊尚文和陳王薏（2021）提出算法審計結果的兩個運用機制： 一是對于行政領域的算法權力濫用問題， 審計機關可直接做出處理， 如果算法權力濫用涉及經濟犯罪， 審計人員有權將被審計單位移交司法機關處理； 二是當平臺企業濫用算法行為被審計監管系統發現時， 審計人員可約談相應企業的高管層。張永忠和張寶山（2022）提出算法審計結果的三種運用場景： 一是在檢測出算法異化時， 審計師有權要求被審計單位對此進行說明并加以改正， 被審計單位在經過溝通后仍然拒絕改正的， 審計師應當出具否定意見的審計報告并向有關機關報告審計結果， 請求其對相關問題進行處理； 二是審計報告可以作為有關機關做出行政處罰的依據； 三是算法審計的結果可以作為被侵權人提起侵權訴訟、 有關組織提起公益訴訟的依據。黃新華和溫永林（2023）認為， 要基于審查結果， 在實踐中督促算法主體落實算法影響評估責任， 提高算法主體內部的算法風險管理能力， 當算法影響評估未能糾正或消除存在風險的算法系統時， 政府還應建立救濟機制， 為受影響的個人或群體提供救濟。王兆毓（2023）提出， 對算法侵害做出更有力的回應是算法審計制度的價值基礎。

2. 算法審計結果公開及其效果。算法審計結果公開是其結果運用的重要方式， 由于其重要性， 本文單獨作為一個話題進行綜述。

有的文獻分析了算法審計結果不公開所產生的不良后果。Khoa Lam等（2023）認為， 大多數算法審計都沒有向公眾公布結果或程序， 這通常是由于與客戶簽訂了保密協議。許多擬議的人工智能審計法規也不要求披露審計結果。這種缺乏透明度的情況可能會使審計失去效力， 從而逐漸降低問責制的效力。因為接受審計的組織既沒有通過公共壓力也沒有通過監管執法來實施激勵， 從而推動有意義的變革。

有的文獻分析了算法審計結果公開可能產生的積極效果。DRCF（2022）提出， 針對這些潛在風險和故障的發現， 組織可以采取有針對性的緩解策略。如果一個組織在審計中發現問題后沒有采取行動改進其系統， 那么在報告被暴露于公眾監督之下后， 公眾、 倡導團體、 學者或記者等就可以對該組織提出疑問并施加壓力。在監管機構可以獲得審計結果的情況下， 監管機構可以在其職權范圍允許的情況下跟進進一步的調查或執法活動， 使受算法系統結果傷害的各方能夠獲得補救。

有的文獻分析了算法審計結果公開已經產生的積極效果。Raji和Buolamwini（2022）以Gender Shades（一個使用較為廣泛的人工智能分類系統）為研究對象， 對使用這個系統的一些公司（稱為目標公司，包括IBM，Microsoft和Megvii）進行為期7個月的算法審計（評估其分類結果是否存在偏見）， 將這些公司的分類結果與未進行算法審計的其他公司（稱為非目標公司，包括Amazon和Kairos）進行比較， 結果發現： 第一， 三個目標公司都對原來的Gender Shades系統進行了改進， 而兩個非目標公司繼續使用原來版本的Gender Shades系統； 第二， 在審計期間， 三個目標公司的分類錯誤率顯著低于兩個非目標公司。Raji和Buolamwini（2022）認為， 產生這些差異的主要原因是， 向社會公開算法審計結果給目標公司形成了壓力。

3. 簡要述評。上述文獻顯示， 有關算法審計結果及其運用的研究才剛剛起步， 關于什么是算法審計結果、 誰來運用算法審計結果、 如何運用算法審計結果等基礎性問題的研究尚不多見。整體來說， 有關算法審計結果及其運用的理論框架尚未形成。

三、 理論框架

本文的目的是以經典審計理論為基礎， 提出算法審計結果及其運用的一個理論框架。為此， 首先要梳理算法委托代理關系； 在此基礎上， 勾畫算法審計結果及其運用的基本框架； 然后， 分別分析各類關系中的算法審計結果運用。

1. 算法委托代理關系。根據經典審計理論， 審計結果的運用者是資源類委托代理關系中的委托人、 代理人、 審計機構和其他利益相關者（鄭石橋，2021）， 因此， 分析算法審計結果及其運用， 必須先梳理算法委托代理關系。由于算法技術的復雜性， 其涉及的利益相關者較多， 這些關系主體之間都存在一定程度的信息不對稱， 根據信息經濟學， 他們之間的關系都屬于委托代理關系。簡要的關系如圖1所示。

圖1中共有8種具體情形的委托代理關系。關系1和關系8是資源類委托代理關系， 在這些關系中， 委托人將資源交付給代理人， 并明確代理人要履行的職責， 代理人對委托人承擔的責任中包括算法責任。關系1是經典的資源類委托代理關系， 特殊之處在于代理人在履行經管責任時使用了算法， 算法的狀況對其經管責任的履行有重要影響， 雖然代理人可以將算法開發和營運委托給他人， 但是最終的責任還是由其自身承擔， 因此， 關系1中的代理人對算法負有全部責任。關系8是政府與其設立的算法監管部門的關系， 這個關系中代理人的主要職責是算法監管， 因此， 算法監管責任是其經管責任的重要內容。

關系2是作為算法使用者的代理人與算法相對人之間的關系。通常來說， 代理人是在履行其經管責任時與算法相對人發生交易關系， 只是在這種交易中使用了算法， 作為算法相對人的交易對方如果不同意代理人提供的算法， 則會終止交易。因此， 如果交易發生了， 則視同算法相對人同意代理人提供的算法， 當然， 如果承諾提供的算法與實際使用的算法不一致， 則代理人要承擔違約責任。整體來說， 關系2中是合約類委托代理關系， 不存在算法審計需求。當然， 這并不排除算法相對人關注甚至運用關系1中針對代理人使用的算法的審計結果。

關系3是作為算法使用者的代理人與算法開發者的關系（如果代理人具備算法開發能力，則算法開發者與使用者合而為一，關系3消失）， 二者之間的合約中會對算法提出要求， 但由于技術方面的原因， 代理人可能難以在算法開始使用時檢驗算法是否符合合約要求， 需要在算法的使用中根據算法是否出現問題來檢驗， 因此， 算法開發者對代理人承擔了算法開發責任。關系4是作為算法使用者的代理人與算法營運者的關系（如果代理人具備算法營運能力，則算法營運者與使用者合而為一，關系4消失）， 二者之間同樣存在算法營運合同， 對于算法的營運會提出要求， 但只能根據算法營運過程中是否出現問題來檢驗算法營運者是否按要求履行了合約， 因此， 算法營運者對代理人承擔了算法營運責任。由于算法開發者和算法營運者對代理人分別承擔了算法開發責任和算法營運責任， 關系1中針對代理人的算法審計會延伸到關系3中的算法開發者和關系4中的算法營運者， 二者也成為關系1中的算法審計客體。

關系5、 關系6和關系7是政府設立的算法監管部門對算法開發者、 算法使用者（代理人）和算法營運者的算法責任進行監管。在這種關系中， 算法監管部門只能按算法監管相關法律法規規定的內容和程序進行監管， 而被監管者則必須按規定接受和配合監管， 因此， 算法監管相關法律法規發揮了類似完備合約的作用， 這種關系中并不存在算法審計需求。當然， 這并不排除算法監管部門關注甚至運用針對這些被監管者的算法審計結果。

概括而言， 在算法相關委托代理關系中， 關系1和關系8是資源類委托代理關系， 存在算法審計需求， 當然也就存在算法審計結果及其運用。其中， 關系1中的算法審計會延伸到關系3和關系4中。其他各類關系并不是資源類委托代理關系， 因此， 不存在算法審計需求， 當然也就不存在算法審計結果及其運用（鄭石橋，2024a）。下面， 本文首先勾畫算法審計結果及其運用的基本框架， 然后分別分析關系1和關系8中的算法審計結果運用。

2. 算法審計結果及其運用的基本框架。根據經典審計理論， 審計結果通常包括審計發現、 審計結論、 審計建議和審計信息四種類型。算法審計結果的基本框架如表1所示。

表1中的算法審計發現是指基于獲得的證據對每個算法審計事項與既定標準的偏離做出的判斷， 通俗地說， 就是對算法審計事項進行審計時所發現的問題。例如， 輸入數據來源不合法， 輸入數據不真實， 輸入數據存在偏向， 算法設計不合法， 算法設計存在安全漏洞， 算法設計響應時間、 吞吐量和資源消耗缺乏效率， 算法結果存在偏見等都是可能的審計發現。算法審計事項是算法審計標的與算法審計具體目標（也稱為審計命題）的組合， 全部算法審計標的和全部具體審計目標組合形成算法審計事項清單。算法審計方案就是圍繞算法審計標的及其分解形成的審計事項來設計并執行的， 因此， 算法審計發現來源于每個算法審計事項， 所有的算法審計發現按一定的方法累積起來， 與算法審計重要性相比較， 是確定算法審計結論的基礎。從邏輯上來說， 算法審計事項不存在與既定標準的偏離也是一種算法審計發現。

表1中的算法審計結論， 是以算法審計發現為基礎， 對算法審計事項、 算法審計標的和算法審計主題與既定標準的相符程度做出的判斷。單個算法審計事項可以形成審計結論， 某個算法審計標的可以形成審計結論， 某個算法審計主題作為一個整體可以形成審計結論， 此時的審計結論也稱為算法審計意見。例如， 針對作為算法使用者的代理人進行算法審計時， 可以分別對輸入數據、 算法設計和算法影響形成審計結論， 在此基礎上， 還可以對算法系統形成審計結論。

表1中的算法審計建議， 是算法審計機構在分析算法審計所發現問題產生原因的基礎上， 所提出的解決問題的建議。這些建議通常是針對算法系統的優化而提出的， 通過優化算法系統， 降低以后再出現同類問題的可能性。

表1中的算法審計信息， 是算法審計機構根據審計中發現的重大問題， 向有關領導、 有關部門和單位等及時提出的專門報告， 以便于相關人員和機構及時關注這些算法問題。

上述算法審計結果， 就其載體來說， 算法審計發現、 算法審計結論和算法審計建議主要體現在算法審計報告中， 其中算法審計建議也可以獨立出來形成算法審計建議書， 而算法審計信息通常以審計信息專報的方式出現。

上述算法審計結果產生于各類算法審計業務， 針對算法開發者的算法開發責任審計、 針對算法營運者的算法營運責任審計和針對算法使用者的算法全面責任審計都可能產生這些結果。同時， 針對算法監管部門的算法監管責任審計也可能產生這些算法審計結果。

上文介紹了算法審計結果的基本框架， 那么， 這些審計結果由誰來運用呢？根據經典審計理論， 審計結果的運用者是資源類委托代理關系中的委托人、 代理人、 審計機構和其他利益相關者， 這里的其他利益相關者是指不屬于委托人、 代理人和審計機構， 但仍然可能關注針對審計客體的審計結果的機構（鄭石橋，2021）。根據該原則， 圖1所示算法委托代理關系中的算法審計結果運用者的基本框架如表2所示。下面， 本文具體分析這些關系中的算法審計結果運用者如何運用算法審計結果。

3. 關系1及其延伸關系中的算法審計結果運用。關系1是經典的資源類委托代理關系， 特殊之處在于這種關系中的代理人在履行其經管責任時依賴于算法， 并且將算法的開發和營運委托給其他專業機構， 所以， 實質上是作為算法使用者的代理人與關系3中的算法開發者、 關系4中的算法營運者共同向關系1中的委托人承擔算法責任， 關系1中針對代理人的算法審計也延伸到關系3中的算法開發者和關系4中的算法營運者， 二者與關系1中代理人共同成為針對關系1中代理人的算法審計的審計客體（鄭石橋，2024b ）。

關系1中作為算法使用者的代理人、 關系3中的算法開發者和關系4中的算法營運者共同作為算法審計的審計客體， 算法審計發現的問題事實上是他們在履行算法責任中存在的問題， 所以， 他們在算法審計結果運用中應當承擔主體責任。第一， 根據算法審計結果性文書中指出的審計發現問題進行審計整改， 如果有必要， 對這些問題的責任人進行責任追究。第二， 作為算法審計整改的主體責任單位， 有責任報告算法審計整改結果， 如有必要， 還需要向社會公開其算法審計整改結果。第三， 關系1中的代理人也可能將算法審計作為信號傳遞機制， 此時， 如果算法審計結果是正面的， 則有可能向社會公開算法審計結果， 讓社會公眾特別是算法相對人相信其使用的算法（現實生活中一些平臺公司聘請專業公司對其算法進行鑒證并公告鑒證結果就是這種情形的典型代表）； 關系3中的算法開發者和關系4中的算法營運者也可能將正面的算法審計結果向社會公開， 以增強社會對其算法專業勝任能力的信任， 提升其市場競爭力。第四， 關系1中的代理人作為算法使用者會將算法審計結果用于評價算法開發者的算法開發責任履行情況以及算法營運者的算法營運責任履行情況， 甚至作為雙方結算的重要參考依據。

關系1中的算法審計機構在算法審計結果運用中承擔督導責任。第一， 在獲得授權時， 以適當的方式在適當的范圍公開算法審計結果， 對算法審計客體形成壓力， 促使他們致力于對審計發現問題的整改； 第二， 在獲得授權時， 對算法審計發現的問題做出處理處罰決定（包括對問題責任人的處理處罰）， 并要求算法審計客體執行； 第三， 督促檢查算法審計客體對其存在問題的整改情況， 獲得授權時， 將審計整改情況向社會公開。

關系1中的委托人作為算法審計的主要需求者， 當然會關注針對代理人的算法審計所發現問題的整改情況： 一方面， 會將算法審計發現問題及其整改情況納入對代理人經管責任履行情況的整體評價中； 另一方面， 會將算法審計發現問題及其整改情況作為與代理人相關決策的參考依據（例如，是否繼續聘用代理人）。

此外， 還有一些其他利益相關者會運用針對關系1中代理人的算法審計結果。首先， 關系2中的算法相對人在與關系1中代理人的交易中使用算法， 算法狀況會影響算法相對人的利益， 同時， 代理人在與算法相對人的交易中對算法有一定的承諾， 算法相對人可以根據算法審計結果來判斷代理人承諾的算法與實際使用的算法是否存在差異， 如果發現存在差異， 算法相對人可以起訴代理人的違約責任。其次， 算法監管部門作為代理人（算法使用者）、 算法開發者和算法營運者的監管者， 當然會關注算法審計結果， 甚至根據算法審計結果啟動算法監管行動， 對未遵守算法相關法律法規的行為進行處置。

4. 關系8中的算法審計結果運用。關系8是本級政府與其設立的算法監管部門的關系。對于針對算法監管部門的算法監管責任的審計結果， 算法監管部門作為審計客體， 對于算法審計發現的問題要承擔整改的主體責任， 這與其他類型的審計整改并無顯著區別。第一， 要制訂整改方案并實施整改， 同時， 將整改結果報告給本級政府審計機關， 根據審計整改制度安排， 還可以向社會公告審計整改結果。第二， 對于審計發現問題的責任人， 要根據相關法律法規進行責任追究。第三， 根據法律法規的要求， 向社會公告審計整改情況。

關系8中的審計機構通常是本級政府審計機關， 其在針對算法監管部門的審計結果運用中主要發揮督導作用。第一， 獲得授權時， 向社會公告審計結果。第二， 獲得授權時， 對審計發現問題的責任人進行處理處罰。第三， 審核算法監管部門的審計整改方案， 檢查其執行情況， 并對整改情況進行驗收。第四， 獲得授權時， 對算法監管部門的整改績效進行評價。第五， 推動將算法監管部門的審計發現問題及其整改情況納入對算法監管部門主要領導的考核評價之中。

關系8中的本級政府是算法監管部門的委托人， 針對算法監管部門的算法監管責任履行情況審計所發現的問題， 事實上是其責任履行中存在的問題， 實質上是未能最大善意地履行其承擔的經管責任， 因此， 本級政府應該積極運用針對算法監管部門的審計結果。第一， 督促算法監管部門進行審計整改。第二， 根據法律法規的規定， 對問題責任人進行處理處罰。第三， 建構制度， 將審計發現問題及其整改情況納入對算法監管部門主要領導的考核評價之中。

此外， 還有一些其他利益相關者也會關注針對關系8中的算法監管部門的審計結果。第一， 關系1中的代理人（算法使用者）、 關系3中的算法開發者、 關系4中的算法營運者， 他們都要接受算法監管部門的監管， 當然會關注針對算法監管部門的審計結果， 尤其會關注其算法監管行為是否存在違法違規問題。第二， 關系1中的委托人， 其權益直接受其代理人及延伸的算法開發者、 算法營運者的算法責任履行情況的影響， 而算法監管部門的監管責任履行情況會影響這些算法責任人的算法責任之履行， 所以， 委托人也會關注算法監管部門的監管職責履行情況。第三， 關系2中的算法相對人， 其利益受到代理人提供的算法的影響， 所以， 代理人（算法使用者）、 算法開發者和算法營運者的算法相關行為直接影響算法相對人的利益。而算法監管部門的算法監管職責履行情況對這三者的算法相關行為有重要影響， 因此， 算法相對人也會關注針對算法監管部門的審計結果， 尤其會關注其是否依法盡職履行算法監管職責， 因為這是算法相對人合法權利的保障。

四、 結論

正確認知算法審計的各基礎性問題是科學建構算法審計制度的前提， 本文聚焦算法審計結果及其運用這一重要的基礎性問題， 以經典審計理論為基礎， 提出算法審計結果及其運用的一個理論框架。

由于算法技術的復雜性， 其涉及的利益相關者較多， 算法委托代理關系包括多種具體情形。關系1、 關系8是資源類委托代理關系， 存在算法審計需求， 當然也存在算法審計結果及其運用， 關系1中的算法審計客體還會延伸到關系3中的算法開發者和關系4中的算法營運者。關系2是合約類委托代理關系， 關系5、 關系6和關系7是監管類委托代理關系， 這些關系中都不存在算法審計需求， 也就不存在算法審計結果及其運用。

算法審計結果包括算法審計發現、 算法審計結論、 算法審計建議和算法審計信息四種類型， 各類算法審計業務都可能產生這些審計結果。算法審計結果的運用者是資源類委托代理關系中的委托人、 代理人、 審計機構和其他利益相關者， 不同的算法委托代理關系中， 上述四者不同。關系1及其延伸關系中， 關系1中的代理人（算法使用者）、 關系3中的算法開發者和關系4中的算法營運者共同作為算法審計的審計客體， 在算法審計結果運用中應當承擔主體責任； 算法審計機構在算法審計結果運用中承擔督導責任； 委托人作為算法審計的主要需求者， 當然會運用針對其代理人（算法使用者）的算法審計結果； 其他利益相關者包括算法相對人和算法監管部門。

關系8中的算法監管部門作為審計客體， 對于算法審計發現的問題要承擔整改的主體責任； 關系8中的審計機構通常是本級政府審計機關， 在針對算法監管部門的審計結果運用中主要發揮督導作用； 關系8中的本級政府是算法監管部門的委托人， 當然會運用針對其代理人的算法審計結果； 關系8中的其他利益相關者包括關系1中的委托人和代理人（算法使用者）、 關系2中的算法相對人、 關系3中的算法開發者、 關系4中的算法營運者。

【 主 要 參 考 文 獻 】

黃新華，溫永林．算法規制的善治之道：緣起、挑戰與路徑［ J］．東南學術，2023（2）：114 ～ 124+247．

王兆毓．生成式人工智能視閾下算法審計的制度構建與路徑創新［ J］．網絡安全與數據治理，2023（8）：6 ～ 12．

張永忠，張寶山．算法規制的路徑創新：論我國算法審計制度的構建［ J］．電子政務，2022（10）：48 ～ 61．

鄭石橋．審計基礎理論［M］．北京：中國人民大學出版社，2021．

鄭石橋．算法審計需求論［ J］．財會月刊，2024a（16）：77 ～ 82．

鄭石橋．算法審計客體論［ J］．財會月刊，2024b（17）：81 ～ 85．

莊尚文，陳王薏．數字經濟時代算法權力問題及其審計規制探討［ J］．吉林工商學院學報，2021（4）：75 ～ 79．

Abeba Birhane， Ryan Steed， Victor Ojewale， et al.. AI auditing： The broken bus on the road to AI accountability［EB/OL］．https：//arxiv.org/pdf/2401.14462.pdf，2024-01-25．

DRCF. Auditing algorithms： The existing role of regulators and future outlook［EB/OL］．https：//www.gov.uk/government/publications/findings-from-the

-drcf-algorithmic-processing-workstream-spring-2022，2022-09-23．

Khoa Lam， Benjamin Lange， Borhane B. H.， et al.. A framework for assurance audits of algorithmic systems［EB/OL］．https：//arxiv.org/pdf/2401.14908.pdf，2023-

01-26．

Merrer E. L.， Ronan Pons， Gilles Tr'edan. Algorithmic audits of algorithms， and the law［Z］．AI and Ethics，2023．

Raji I. D.， Smart A.， White R. N.， et al.. Closing the AI accountability gap： Defining an end-to-end framework for internal algorithmic auditing［EB/OL］．https：//arxiv.org/abs/2001.00973，2020-01-03．

Raji I. D.， Buolamwini J.. Actionable auditing revisited： Investigating the impact of publicly naming biased performance results of commercial AI products

［ J］．Communications of the ACM，2022（66）：101 ～ 108．

（責任編輯·校對： 許春玲" 李小艷）

DOI：10．19641/j．cnki．42-1290/f．2024．24．010

【基金項目】國家社會科學基金重大項目“百年審計理論創新研究”（項目編號：21amp;ZD027）