人工智能犯罪風(fēng)險(xiǎn)評(píng)估“算法歧視”現(xiàn)象及其規(guī)制路徑

馬皚 宋業(yè)臻

摘要：隨著人工智能技術(shù)的不斷發(fā)展，犯罪風(fēng)險(xiǎn)評(píng)估工具逐漸開始了智能化的演進(jìn)。域外司法實(shí)踐中使用的智能化犯罪風(fēng)險(xiǎn)評(píng)估工具并沒有解決“算法歧視”的問題。“算法歧視”的成因是復(fù)雜的、多層次的。結(jié)合傳統(tǒng)算法規(guī)制的分析框架，從問題建構(gòu)維度和模型設(shè)計(jì)維度，能夠?qū)θ斯ぶ悄芊缸镲L(fēng)險(xiǎn)評(píng)估“算法歧視”的成因進(jìn)行深入分析，并據(jù)此對(duì)算法規(guī)制的算法公開、個(gè)人數(shù)據(jù)賦權(quán)、研發(fā)過程規(guī)制與審核，進(jìn)行特定場(chǎng)景下的路徑探索，為走出人工智能犯罪風(fēng)險(xiǎn)評(píng)估所面臨的“算法歧視”困境提供理論支撐。

關(guān)鍵詞：犯罪風(fēng)險(xiǎn)評(píng)估;算法歧視;人工智能;算法規(guī)制

中圖分類號(hào)：DF792.6;B84 ? 文獻(xiàn)標(biāo)志碼：A ? ?文章編號(hào)：1001-862X（2022）02-0119-009

中央網(wǎng)絡(luò)安全和信息化委員會(huì)印發(fā)《“十四五”國(guó)家信息化規(guī)劃》指出：“信息化進(jìn)入加快數(shù)字化發(fā)展、建設(shè)數(shù)字中國(guó)的新階段。”中共中央、國(guó)務(wù)院印發(fā)《法治政府建設(shè)實(shí)施綱要（2021—2025年）》明確提出“健全法治政府建設(shè)科技保障體系，全面建設(shè)數(shù)字法治政府”的新要求。為了響應(yīng)國(guó)家數(shù)字化發(fā)展的號(hào)召，刑事司法領(lǐng)域主動(dòng)與大數(shù)據(jù)、人工智能領(lǐng)域協(xié)作，開展了一系列國(guó)家重點(diǎn)研發(fā)計(jì)劃，如“犯罪嫌疑人特征精確刻畫與精準(zhǔn)識(shí)別”“職務(wù)犯罪智能評(píng)估、預(yù)防”等一系列以人工智能犯罪風(fēng)險(xiǎn)評(píng)估為主題的跨學(xué)科科研項(xiàng)目，并取得了一系列初步科研成果。在人工智能犯罪風(fēng)險(xiǎn)評(píng)估領(lǐng)域，域外人工智能犯罪風(fēng)險(xiǎn)評(píng)估科技成果在進(jìn)入社會(huì)應(yīng)用階段之后，引發(fā)了大量關(guān)于“算法歧視”的社會(huì)爭(zhēng)議，甚至激化了社會(huì)矛盾。如何借鑒域外經(jīng)驗(yàn)教訓(xùn)，在促進(jìn)我國(guó)人工智能犯罪風(fēng)險(xiǎn)評(píng)估領(lǐng)域發(fā)展的同時(shí)，從“算法的場(chǎng)景性”角度切入，探索人工智能犯罪風(fēng)險(xiǎn)評(píng)估場(chǎng)景下的算法規(guī)制路徑，走出“科林格里奇困境（Collingridge’s Dilemma）”（1），成為了我國(guó)人工智能犯罪風(fēng)險(xiǎn)評(píng)估領(lǐng)域發(fā)展的一項(xiàng)緊迫任務(wù)。

一、人工智能犯罪風(fēng)險(xiǎn)評(píng)估領(lǐng)域的“算法歧視”陷阱

人工智能犯罪風(fēng)險(xiǎn)評(píng)估一方面指的是依靠計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、情感計(jì)算、復(fù)雜系統(tǒng)等前沿人工智能技術(shù)對(duì)犯罪行為、犯罪心理現(xiàn)象進(jìn)行更加復(fù)雜的經(jīng)驗(yàn)分析，形成新的犯罪行為成因推斷與風(fēng)險(xiǎn)預(yù)測(cè)理論;另一方面指的是依靠人工智能復(fù)雜算法提升傳統(tǒng)犯罪風(fēng)險(xiǎn)評(píng)估工具的統(tǒng)計(jì)分析能力，形成升級(jí)迭代的犯罪風(fēng)險(xiǎn)評(píng)估工具。目前，國(guó)內(nèi)外人工智能犯罪風(fēng)險(xiǎn)評(píng)估主要在犯罪風(fēng)險(xiǎn)評(píng)估工具迭代升級(jí)方向上發(fā)力，形成了一些技術(shù)成果，但是由于技術(shù)尚未完全成熟，導(dǎo)致人工智能犯罪風(fēng)險(xiǎn)評(píng)估存在規(guī)模化應(yīng)用的不確定性。

（一）域外人工智能犯罪風(fēng)險(xiǎn)評(píng)估的“算法歧視”現(xiàn)象

人工智能犯罪風(fēng)險(xiǎn)評(píng)估領(lǐng)域的“算法歧視”現(xiàn)象，最早出現(xiàn)在人工智能風(fēng)險(xiǎn)評(píng)估工具取得廣泛社會(huì)應(yīng)用的美國(guó)佛羅里達(dá)州。美國(guó)普利策獎(jiǎng)得主非盈利性新聞機(jī)構(gòu)ProPublica調(diào)研了佛羅里達(dá)州布勞沃德縣的重新犯罪風(fēng)險(xiǎn)評(píng)估情況，將被逮捕的一萬(wàn)余人的風(fēng)險(xiǎn)評(píng)估結(jié)論與實(shí)際發(fā)生的重新犯罪率進(jìn)行比較，并于2016年5月23日公開聲稱應(yīng)用于美國(guó)司法實(shí)踐中的犯罪風(fēng)險(xiǎn)評(píng)估系統(tǒng)COMPASS存在種族歧視，“系統(tǒng)在正確預(yù)測(cè)白人或者黑人的重新犯罪率方面是正確的，但是黑人比白人被評(píng)估為高風(fēng)險(xiǎn)結(jié)論的概率高兩倍”。[1]隨后，2016年6月8日，COMPASS的研發(fā)機(jī)構(gòu)Northpointe書面回應(yīng)稱：“佛羅里達(dá)州布勞沃德縣的審前樣本不存在種族歧視現(xiàn)象，ProPublica未考慮黑人和白人在重新犯罪上的分類統(tǒng)計(jì)數(shù)據(jù)，評(píng)估工具《一般重新犯罪風(fēng)險(xiǎn)評(píng)估量表（GRRS）》和《暴力犯罪的重新犯罪風(fēng)險(xiǎn)評(píng)估量表（VRRS）》對(duì)黑人和白人具有等同效用，誤認(rèn)為存在種族歧視現(xiàn)象是因?yàn)榛煜恕粗匦路缸锏潜辉u(píng)估為存在風(fēng)險(xiǎn)的概率’與‘被評(píng)估為有風(fēng)險(xiǎn)（風(fēng)險(xiǎn)較高）但是未重新犯罪的概率’而導(dǎo)致出現(xiàn)對(duì)‘算法偏見’的錯(cuò)誤認(rèn)知。”麻省理工科技評(píng)論在2017年跟蹤報(bào)道了這一爭(zhēng)議，將“算法偏見”問題正式提上了社會(huì)公眾關(guān)注的議程。

（二）我國(guó)人工智能技術(shù)應(yīng)用中的“算法歧視”現(xiàn)象

由于人工智能犯罪風(fēng)險(xiǎn)評(píng)估科技成果尚未在我國(guó)取得實(shí)踐場(chǎng)景的廣泛應(yīng)用，我國(guó)法學(xué)界尚未充分關(guān)注人工智能犯罪風(fēng)險(xiǎn)評(píng)估的“算法歧視”問題。不過由于人工智能技術(shù)在商業(yè)、社會(huì)等領(lǐng)域取得了較廣泛的應(yīng)用，法學(xué)界對(duì)商業(yè)與社會(huì)領(lǐng)域中“算法歧視”現(xiàn)象已有較為廣泛的討論。李成指出：我國(guó)法學(xué)界使用“算法歧視”來統(tǒng)攝人工智能的“公正性論題”，“綜觀相關(guān)研究，算法歧視概念框架實(shí)際納入了兩類構(gòu)型相似但性質(zhì)迥異的歧視”，一種是“反壟斷語(yǔ)境下的價(jià)格歧視”，另一種是“平等權(quán)語(yǔ)境下的身份歧視”。[2]毫無疑問，人工智能算法的歧視與偏見會(huì)對(duì)我國(guó)的社會(huì)秩序構(gòu)成極大的挑戰(zhàn)，尤其是在司法實(shí)踐中的應(yīng)用如果不能得到合理有效的控制，將會(huì)對(duì)我國(guó)法律的一些基本原則構(gòu)成挑戰(zhàn)。[3]丁曉東將這些挑戰(zhàn)總結(jié)為“算法黑箱對(duì)知情權(quán)與自主決策的挑戰(zhàn)”“對(duì)個(gè)體隱私與自由的威脅”“算法歧視與偏見”三大類。[4]關(guān)于形成這些挑戰(zhàn)的成因，李曉輝將其中“算法黑箱”的成因歸為商業(yè)秘密的保護(hù)，即盈利性實(shí)體為了獲取商業(yè)競(jìng)爭(zhēng)力而完全不公開報(bào)告關(guān)于自身智能算法的計(jì)算表征與決策方式。[5]

同時(shí)，“傳統(tǒng)算法規(guī)制路徑面臨的困境根本原因在于忽視算法的場(chǎng)景性，算法可能由于運(yùn)用算法的主體不同、針對(duì)的對(duì)象不同、涉及的問題不同而具有不同的性質(zhì)”。[4]具體到刑事司法領(lǐng)域的人工智能技術(shù)應(yīng)用場(chǎng)景，李訓(xùn)虎認(rèn)為，“我國(guó)刑事司法領(lǐng)域中的人工智能應(yīng)用的法理難題在于：智能輔助辦案系統(tǒng)會(huì)加劇已有偏見”，進(jìn)一步具體到犯罪風(fēng)險(xiǎn)評(píng)估領(lǐng)域，人工智能應(yīng)用的法理難題可以被歸納為“智能化風(fēng)險(xiǎn)評(píng)估工具的使用會(huì)造成對(duì)特定群體的歧視”。[6]

二、人工智能犯罪風(fēng)險(xiǎn)評(píng)估中“算法歧視”的成因

造成“算法歧視”現(xiàn)象的成因是復(fù)雜的，目前較為全面的分析框架是“四維度歧視嵌入路徑”分析法，具體包括：“問題構(gòu)建維度、數(shù)據(jù)理解維度、特征選擇維度和個(gè)人信息維度”。[2]其中，“數(shù)據(jù)理解維度”主要指的是“樣本代表性”方面的問題，“個(gè)人信息維度”主要指的是個(gè)人信息泄露或開發(fā)者的非規(guī)范化使用導(dǎo)致的采樣偏差從而引發(fā)算法研發(fā)的歧視問題，“數(shù)據(jù)理解維度”和“個(gè)人信息維度”屬于模型設(shè)計(jì)研發(fā)的一個(gè)必要環(huán)節(jié)，同時(shí)，“特征選擇維度”是算法模型設(shè)計(jì)研發(fā)的另一個(gè)必要環(huán)節(jié)，可以被統(tǒng)稱為模型設(shè)計(jì)維度。以下將從問題建構(gòu)維度和模型設(shè)計(jì)維度分析具體到人工智能犯罪風(fēng)險(xiǎn)評(píng)估場(chǎng)景，對(duì)“算法歧視”的產(chǎn)生原因進(jìn)行分析。

（一）問題建構(gòu)維度：犯罪風(fēng)險(xiǎn)評(píng)估理論的固有局限性

當(dāng)前國(guó)際主流的犯罪風(fēng)險(xiǎn)評(píng)估理論與工具，已經(jīng)進(jìn)行了五代革新升級(jí)，但是，多輪迭代升級(jí)并未解決理論層面的固有局限。

第一代犯罪風(fēng)險(xiǎn)評(píng)估理論與工具出現(xiàn)在1920年代，其目的是服務(wù)于“罪犯康復(fù)治療”，由專業(yè)人員進(jìn)行臨床的半結(jié)構(gòu)化評(píng)估，工具中不包括驗(yàn)證與決策的統(tǒng)計(jì)機(jī)制。[7]第一代犯罪風(fēng)險(xiǎn)評(píng)估工具由于其評(píng)價(jià)方式過于主觀，并且?guī)缀鯖]有預(yù)測(cè)功能而逐漸衰落。[8]

第二代犯罪風(fēng)險(xiǎn)評(píng)估理論與工具將統(tǒng)計(jì)學(xué)中的回歸模型納入風(fēng)險(xiǎn)預(yù)測(cè)環(huán)節(jié)，對(duì)評(píng)估工具進(jìn)行了優(yōu)化，工具的預(yù)測(cè)效度有所提升。第一代到第二代犯罪風(fēng)險(xiǎn)評(píng)估理論與工具的演進(jìn)，其底層價(jià)值觀方面有著根本性的變化，從“半個(gè)性化的治療”（Semi-Personalized Treatment）轉(zhuǎn)向了純粹的預(yù)測(cè)，體現(xiàn)了“新刑罰”（New Penology）的變化——“由康復(fù)治療轉(zhuǎn)向更加行政化的人口管理，幾乎完全依靠（使犯罪人）喪失行為能力來降低重新犯罪風(fēng)險(xiǎn)”。[9]第二代犯罪風(fēng)險(xiǎn)評(píng)估工具的推廣及其底層價(jià)值觀的變遷，使得在20世紀(jì)70年代之后，被認(rèn)為存在一定程度重新犯罪風(fēng)險(xiǎn)的罪犯均受到監(jiān)禁，美國(guó)的監(jiān)禁率大幅度提升，但是大幅度的監(jiān)禁也帶來了被監(jiān)禁人群的“棘輪效應(yīng)”（Ratcheting Effect）[10]、監(jiān)禁邊際回報(bào)率逐年降低和個(gè)體層面的重新犯罪率不降反升等社會(huì)問題出現(xiàn)。[11]第二代犯罪風(fēng)險(xiǎn)評(píng)估理論更多地是從犯罪行為史、年齡等靜態(tài)因素進(jìn)行犯罪風(fēng)險(xiǎn)預(yù)測(cè)，嚴(yán)重地依賴歷史數(shù)據(jù)對(duì)未來進(jìn)行預(yù)測(cè)，很容易將社會(huì)結(jié)構(gòu)性歧視引入評(píng)估模型，造成更嚴(yán)重的社會(huì)不公平。

第三代犯罪風(fēng)險(xiǎn)評(píng)估工具為了解決第二代犯罪風(fēng)險(xiǎn)評(píng)估工具過于依賴靜態(tài)因素、歷史數(shù)據(jù)的問題，進(jìn)一步引入了“犯罪（犯因性）需求”（Criminogenic Needs）等更加側(cè)重于強(qiáng)調(diào)心理特征的動(dòng)態(tài)因素。

第四代犯罪風(fēng)險(xiǎn)評(píng)估理論則是在第三代的基礎(chǔ)上，進(jìn)一步將動(dòng)態(tài)因素?cái)U(kuò)展到智力、自尊心等因素上，第三代與第四代犯罪風(fēng)險(xiǎn)評(píng)估形成了一個(gè)一體化的“混合風(fēng)險(xiǎn)/需求模型”（Hybrid Risk/Need Model）。

第五代犯罪風(fēng)險(xiǎn)評(píng)估理論將人工智能、機(jī)器學(xué)習(xí)等新技術(shù)引入了犯罪風(fēng)險(xiǎn)評(píng)估工具的研發(fā)中。第五代犯罪風(fēng)險(xiǎn)評(píng)估理論與工具中又包括兩種研究路徑，一種是在歐美第四代犯罪風(fēng)險(xiǎn)評(píng)估工具的基礎(chǔ)上，將機(jī)器學(xué)習(xí)甚至深度學(xué)習(xí)等智能模型替換掉傳統(tǒng)的線性回歸模型，是“計(jì)算模型的復(fù)雜化”;另一種是我國(guó)犯罪心理學(xué)與人工智能技術(shù)的深度融合，開發(fā)出理論、技術(shù)、應(yīng)用多層次整合的犯罪風(fēng)險(xiǎn)評(píng)估工具。[12]第五代犯罪風(fēng)險(xiǎn)評(píng)估理論與工具中“計(jì)算模型的復(fù)雜化”分支，解決了第四代犯罪風(fēng)險(xiǎn)評(píng)估工具線性回歸模型計(jì)算過程過于簡(jiǎn)單，應(yīng)用于實(shí)踐中誤差率高、系統(tǒng)抗噪聲性不強(qiáng)的問題。而多層次整合的犯罪風(fēng)險(xiǎn)評(píng)估工具由中國(guó)心理學(xué)會(huì)法律心理學(xué)專業(yè)委員會(huì)、中國(guó)政法大學(xué)犯罪心理學(xué)研究中心進(jìn)行理論研究與架構(gòu)設(shè)計(jì)，由青島認(rèn)知人工智能研究院進(jìn)行系統(tǒng)整合與系統(tǒng)開發(fā)，自2018年開始在全國(guó)12家監(jiān)獄進(jìn)行了為期兩年系統(tǒng)試運(yùn)行與效果驗(yàn)證，試驗(yàn)參與者超過2000人，積累數(shù)據(jù)量大于400萬(wàn)條，2019年該試驗(yàn)項(xiàng)目與技術(shù)裝備進(jìn)入中國(guó)科學(xué)技術(shù)協(xié)會(huì)《2019前沿科技成果推介手冊(cè)》。

回顧五代犯罪風(fēng)險(xiǎn)評(píng)估理論與工具的發(fā)展，其核心問題是如何通過已知的數(shù)據(jù)和信息推斷犯罪行為未來的發(fā)生概率，采用的主要方法是對(duì)比已經(jīng)發(fā)生犯罪行為的個(gè)體與未發(fā)生犯罪行為的個(gè)體在年齡、行為史、心理特征等靜態(tài)、動(dòng)態(tài)因素上的差異性，故當(dāng)代犯罪風(fēng)險(xiǎn)評(píng)估工具也被稱為“精算風(fēng)險(xiǎn)評(píng)估”（Actuarial Risk Assessment）。但是上述五代犯罪風(fēng)險(xiǎn)評(píng)估工具由于理論假設(shè)與根本方法論并未改變，故均存在過分依賴數(shù)據(jù)統(tǒng)計(jì)的局限性，主要體現(xiàn)在模型建立的過程中“統(tǒng)計(jì)系統(tǒng)會(huì)重現(xiàn)數(shù)據(jù)中的歧視模式與歷史偏見模式”。[13]

總而言之，在人工智能犯罪風(fēng)險(xiǎn)評(píng)估工具的問題構(gòu)建階段，由于犯罪風(fēng)險(xiǎn)評(píng)估理論依賴歷史數(shù)據(jù)固有的局限性，導(dǎo)致“算法歧視”現(xiàn)象被自然地構(gòu)建進(jìn)理論設(shè)計(jì)中。

（二）模型設(shè)計(jì)維度：算法可解釋性的錯(cuò)誤聚焦

在模型設(shè)計(jì)維度，人工智能犯罪風(fēng)險(xiǎn)評(píng)估工具大量使用了目前主流的人工智能深度學(xué)習(xí)模型，由此形成的人工智能犯罪風(fēng)險(xiǎn)評(píng)估工具在應(yīng)用過程中主要表現(xiàn)為：輸入被評(píng)估者的個(gè)人信息，直接輸出犯罪風(fēng)險(xiǎn)預(yù)測(cè)等級(jí)或者指標(biāo)的“端到端”（End to End）式的風(fēng)險(xiǎn)預(yù)測(cè)模型。而人工智能深度學(xué)習(xí)模型目前面臨嚴(yán)重的“算法黑箱性”質(zhì)疑，由此“端到端”的犯罪風(fēng)險(xiǎn)評(píng)估與預(yù)測(cè)技術(shù)，也同樣面臨著對(duì)深度學(xué)習(xí)技術(shù)本身的“算法黑箱性”質(zhì)疑。為了解決深度學(xué)習(xí)技術(shù)的“算法黑箱性”問題，人工智能領(lǐng)域提出了算法可解釋性的研究方向，但是算法可解釋性如果聚焦方向有偏差，則無法解決人工智能犯罪風(fēng)險(xiǎn)評(píng)估工具的“算法歧視”問題。下面主要從算法可解釋性能夠在何種程度上解決“算法黑箱性”的問題和人工智能犯罪風(fēng)險(xiǎn)評(píng)估能否利用算法可解釋性規(guī)避“算法歧視”兩個(gè)層面詳細(xì)闡述。

第一層面：算法可解釋性能夠在何種程度上解決“算法黑箱性”的問題？

首先，算法可解釋性從何而來？算法可解釋性主要為了回應(yīng)對(duì)人工智能深度學(xué)習(xí)技術(shù)本身的質(zhì)疑與對(duì)技術(shù)應(yīng)用的質(zhì)疑。

對(duì)技術(shù)本身質(zhì)疑的主要問題是：其一，深度學(xué)習(xí)技術(shù)所采用的深度神經(jīng)網(wǎng)絡(luò)模型是高度復(fù)雜的模型，模型中存在大量的自由參數(shù)，如在圖像識(shí)別領(lǐng)域取得了巨大成功的AlexNet模型，其中包含了超過6200萬(wàn)個(gè)自由參數(shù)，導(dǎo)致了在學(xué)習(xí)與預(yù)測(cè)任務(wù)中出現(xiàn)了很多不可預(yù)期的結(jié)果;其二，使用一些“對(duì)抗性實(shí)例”（Adversarial Example）就會(huì)破壞深度神經(jīng)網(wǎng)絡(luò)的識(shí)別與預(yù)測(cè)的準(zhǔn)確率。通俗而言，只需要對(duì)輸入數(shù)據(jù)進(jìn)行一些人類幾乎感知不到的細(xì)微調(diào)整，就會(huì)發(fā)現(xiàn)模型輸出發(fā)生巨大的變化，尤其是對(duì)一些類似于白噪聲的毫無實(shí)際意義的輸入數(shù)據(jù)，模型卻判定其符合預(yù)測(cè)標(biāo)準(zhǔn)的置信度接近百分之百，這意味著深度神經(jīng)網(wǎng)絡(luò)模型在任務(wù)判別與信息計(jì)算方面與人類感知加工信息的方式完全不同。

對(duì)技術(shù)應(yīng)用質(zhì)疑的主要問題是：其一，道德與倫理方面，應(yīng)當(dāng)確保智能化犯罪風(fēng)險(xiǎn)評(píng)估工具不會(huì)對(duì)人口中的亞群體產(chǎn)生損害性的影響。其二，與知識(shí)有關(guān)（Knowledge Related Consideration）的方面，工具的用戶并非計(jì)算機(jī)專家，因此用戶自身不可能自己開發(fā)基于算法的解決方案，也幾乎不能夠理解算法是如何開發(fā)的，尤其是復(fù)雜統(tǒng)計(jì)和深度學(xué)習(xí)技術(shù)，用戶距離理解技術(shù)還有較大距離。其三，方法可靠性（Methodological Soundness）方面，當(dāng)前，世界各地已經(jīng)陸續(xù)頒布了相關(guān)規(guī)范性文件，如《歐洲一般數(shù)據(jù)保護(hù)條例》（European General Data Protection）授予最終用戶可以要求提升處理信息透明性的權(quán)利。這些方面均是將人工智能技術(shù)的透明性、可解釋性與“信任”概念關(guān)聯(lián)起來，既希望一個(gè)解決方案能夠服務(wù)社會(huì)，又不會(huì)對(duì)社會(huì)公眾產(chǎn)生傷害。

其次，算法可解釋性是什么？算法可解釋性指的是“使用人類可理解的術(shù)語(yǔ)提供解釋的能力”，“可解釋的術(shù)語(yǔ)”與“解釋”是兩個(gè)關(guān)鍵因素。在理想的情況下，“解釋”應(yīng)當(dāng)以“邏輯決策規(guī)則”的形式出現(xiàn)，即“如果……那么……”形式的規(guī)則，或者能夠很容易被轉(zhuǎn)化為邏輯決策規(guī)則的形式;“可解釋的術(shù)語(yǔ)”則與專業(yè)領(lǐng)域知識(shí)密切相關(guān)，比如人工智能計(jì)算機(jī)視覺中可以用于解釋的術(shù)語(yǔ)是人類視覺的相關(guān)概念（圖像中的顏色塊、圖像中客體的材料、圖像的紋理）。

簡(jiǎn)言之，算法可解釋性包括兩個(gè)重點(diǎn)：一方面要分析存在黑箱性問題的算法是如何進(jìn)行計(jì)算的，以人類可以理解的方式闡明其計(jì)算規(guī)則;另一方面要結(jié)合具體應(yīng)用場(chǎng)景，從場(chǎng)景相關(guān)專業(yè)知識(shí)角度分析為什么要這樣計(jì)算、這樣計(jì)算是否具有科學(xué)性和合理性。

最后，目前的算法可解釋性研究已經(jīng)解決了哪些問題，還未解決哪些問題？算法可解釋性研究目前已經(jīng)解決以下三方面問題：其一，被動(dòng)與主動(dòng)維度（Passive-Active Approach），根據(jù)是否需要改變網(wǎng)絡(luò)結(jié)構(gòu)或者優(yōu)化流程，不需要對(duì)網(wǎng)絡(luò)結(jié)構(gòu)與流程改變，直接從已經(jīng)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)出發(fā)，從中抽取計(jì)算與決策規(guī)則的研究，被稱為被動(dòng)解釋;需要在訓(xùn)練網(wǎng)絡(luò)之前進(jìn)行一些改變，如增加一些額外網(wǎng)絡(luò)結(jié)構(gòu)或者改變訓(xùn)練過程的研究，被稱為主動(dòng)解釋。其二，生成解釋的類型（the Type/Format of Produced Explanation），由于不同的解釋路徑生成的解釋是不同的，它們的清晰度也不同，具體類型如：顯著性映射解釋（Saliency Map），強(qiáng)調(diào)輸入信息的重點(diǎn)區(qū)域的解釋，需要人為加入更多主觀經(jīng)驗(yàn)進(jìn)行判斷才能獲得清晰的解釋;再如：邏輯規(guī)則解釋（Logic Rules），無需進(jìn)行更多的人為參與;隱藏層語(yǔ)義解釋（Hidden Semantic），將神經(jīng)網(wǎng)絡(luò)各個(gè)層次拆分開進(jìn)行解釋，樣例解釋與概念歸因（Concept Attribution）解釋等。其三，局部與整體（Local and Global）解釋，局部解釋側(cè)重于理解單個(gè)預(yù)測(cè)的方式，整體解釋側(cè)重于理解模型整體的決策方式，目前較為常見的是從局部解釋開始，自下而上歸納出整體解釋。

目前，算法可解釋性研究能夠解決存在黑箱性問題的算法是如何進(jìn)行計(jì)算的問題，能夠以人類可以理解的方式闡明其計(jì)算規(guī)則，但是并未能結(jié)合具體應(yīng)用場(chǎng)景，從場(chǎng)景相關(guān)知識(shí)角度分析為什么要這樣計(jì)算。

第二層面：人工智能犯罪風(fēng)險(xiǎn)評(píng)估能否利用算法可解釋性規(guī)避“算法歧視”？算法可解釋性能否解決人工智能犯罪風(fēng)險(xiǎn)評(píng)估的“算法歧視”問題，取決于犯罪風(fēng)險(xiǎn)評(píng)估與人工智能技術(shù)的結(jié)合方式。犯罪風(fēng)險(xiǎn)評(píng)估屬于犯罪心理學(xué)的經(jīng)典問題，故犯罪風(fēng)險(xiǎn)評(píng)估與人工智能技術(shù)的結(jié)合方式類似于心理學(xué)與人工智能技術(shù)結(jié)合的方式。

目前，心理學(xué)與人工智能技術(shù)主要存在三種結(jié)合方式：其一，保留傳統(tǒng)的心理學(xué)路徑，使用傳統(tǒng)心理測(cè)量工具的輸入輸出數(shù)據(jù)，但是將傳統(tǒng)心理學(xué)常用的線性模型替換為了人工智能統(tǒng)計(jì)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等復(fù)雜計(jì)算模型。其二，保留傳統(tǒng)的人工智能機(jī)器學(xué)習(xí)路徑，從音視頻、文本、網(wǎng)絡(luò)行為等粗糙原始數(shù)據(jù)中提取與心理相關(guān)的特征。其三，明確地采用數(shù)據(jù)驅(qū)動(dòng)的方法，將傳統(tǒng)心理測(cè)評(píng)工具替代，建立新的關(guān)聯(lián)關(guān)系，同時(shí)根據(jù)是否需要手動(dòng)提取數(shù)據(jù)特征而分為需要認(rèn)為定義如何進(jìn)行信號(hào)轉(zhuǎn)換和輸入數(shù)據(jù)特征提取規(guī)則的“特征工程”（Feature Engineering）路徑和直接使用復(fù)雜模型進(jìn)行原始數(shù)據(jù)特征提取的“表示學(xué)習(xí)”（Representation Learning）路徑。

上述三種結(jié)合方式均涉及使用黑箱性算法，故算法可解釋性具備解決人工智能犯罪風(fēng)險(xiǎn)評(píng)估“算法黑箱性”問題的前提條件，但是解決“算法黑箱性”問題不等同與解決“算法歧視”問題。解決“算法黑箱性”可以采用可視化方法、邏輯方法等來說明算法對(duì)輸入數(shù)據(jù)的加工分析過程，即算法如何計(jì)算加工相關(guān)數(shù)據(jù)。而解決“算法歧視”問題需要進(jìn)一步從科學(xué)理論角度闡明輸入數(shù)據(jù)為什么能夠與輸出數(shù)據(jù)形成關(guān)聯(lián)，以及輸入數(shù)據(jù)是否已經(jīng)潛在地含有歧視信息的樣本。故目前學(xué)術(shù)界聚焦的算法可解釋性研究雖然具備從“算法黑箱性”角度為解決“算法歧視”問題提供支持路徑的條件，但是仍然尚未解決人工智能犯罪風(fēng)險(xiǎn)評(píng)估的“算法歧視”問題。

三、人工智能犯罪風(fēng)險(xiǎn)評(píng)估中“算法歧視”的規(guī)制

人工智能犯罪風(fēng)險(xiǎn)評(píng)估“算法歧視”問題來自于“算法黑箱”，“算法黑箱是算法規(guī)制的出發(fā)點(diǎn)”[14]，故應(yīng)當(dāng)在算法規(guī)制領(lǐng)域探討“算法歧視”問題。人工智能犯罪風(fēng)險(xiǎn)評(píng)估“算法歧視”問題的解決又屬于算法規(guī)制領(lǐng)域中的“場(chǎng)景化規(guī)制”問題，應(yīng)當(dāng)“根據(jù)不同的場(chǎng)景類型采用不同的規(guī)制方式，以實(shí)現(xiàn)負(fù)責(zé)任的算法為目標(biāo)”。[4]在算法規(guī)制的方式中，目前常見的規(guī)制建議包括算法公開、賦予數(shù)據(jù)主體解釋權(quán)[4]、代碼審核、開發(fā)行為規(guī)范[2]等，已經(jīng)在實(shí)踐中其他場(chǎng)景化算法規(guī)制領(lǐng)域?qū)嵤┑陌ǎ褐袊?guó)人民銀行發(fā)布的《關(guān)于規(guī)范金融機(jī)構(gòu)資產(chǎn)管理業(yè)務(wù)的指導(dǎo)意見》與國(guó)家網(wǎng)信辦發(fā)布的《區(qū)塊鏈信息服務(wù)管理規(guī)定》中涉及的算法備案制度等。[15]具體到人工智能犯罪風(fēng)險(xiǎn)評(píng)估的場(chǎng)景化算法規(guī)制問題上，算法公開、賦予數(shù)據(jù)主體解釋權(quán)的問題主要轉(zhuǎn)化為應(yīng)當(dāng)公開或者向相關(guān)用戶提供哪些解釋內(nèi)容？代碼審核、開發(fā)行為規(guī)范的問題轉(zhuǎn)化為應(yīng)當(dāng)規(guī)范哪些、審核哪些研發(fā)或開發(fā)行為？

因犯罪風(fēng)險(xiǎn)評(píng)估的特殊性，對(duì)人工智能犯罪風(fēng)險(xiǎn)評(píng)估“算法歧視”的規(guī)制亦具有一定的特殊性，具體表現(xiàn)為：在評(píng)估對(duì)象方面，犯罪風(fēng)險(xiǎn)評(píng)估指涉的犯罪行為范疇比刑法學(xué)指涉的犯罪行為范疇更窄，在我國(guó)犯罪風(fēng)險(xiǎn)評(píng)估實(shí)踐中主要指的是故意殺人、故意傷害、搶劫等暴力犯罪行為以及強(qiáng)奸、猥褻等性犯罪行為;在評(píng)估后產(chǎn)生的效應(yīng)方面，犯罪風(fēng)險(xiǎn)評(píng)估結(jié)論可能造成對(duì)被評(píng)估人的人身權(quán)利限制程度的差異，尤其是偵查階段變更強(qiáng)制措施時(shí)的犯罪風(fēng)險(xiǎn)評(píng)估與服刑階段施加監(jiān)管強(qiáng)度確認(rèn)時(shí)的犯罪風(fēng)險(xiǎn)評(píng)估;在評(píng)估依據(jù)方面，我國(guó)犯罪風(fēng)險(xiǎn)評(píng)估的理論基礎(chǔ)來自于我國(guó)犯罪學(xué)、犯罪心理學(xué)的理論成果，在犯罪行為界定、風(fēng)險(xiǎn)等級(jí)界定、風(fēng)險(xiǎn)因子集合方面，與國(guó)外犯罪學(xué)、犯罪心理學(xué)的犯罪行為界定、風(fēng)險(xiǎn)等級(jí)界定、風(fēng)險(xiǎn)因子集合存在一定差異。所以，對(duì)我國(guó)人工智能犯罪風(fēng)險(xiǎn)評(píng)估算法進(jìn)行算法規(guī)制，要從具有根本性的理論基礎(chǔ)、模型和方法角度進(jìn)行分析并提出規(guī)制建議，從問題建構(gòu)和模型設(shè)計(jì)兩個(gè)角度提供公開信息或解釋內(nèi)容，同時(shí)，從研發(fā)過程角度進(jìn)行規(guī)范和審核。

（一）人工智能犯罪風(fēng)險(xiǎn)評(píng)估的問題構(gòu)建維度

在人工智能犯罪風(fēng)險(xiǎn)評(píng)估的問題構(gòu)建維度，應(yīng)當(dāng)從犯罪學(xué)和犯罪心理學(xué)的角度分析并公開或解釋：在問題構(gòu)建所使用的理論基礎(chǔ)方面，是否可能由于基礎(chǔ)理論存在歧視風(fēng)險(xiǎn)而導(dǎo)致人工智能犯罪風(fēng)險(xiǎn)評(píng)估出現(xiàn)“算法歧視”問題？如果存在基礎(chǔ)理論通過問題構(gòu)建維度導(dǎo)致“算法歧視”問題，那么造成“算法歧視”的風(fēng)險(xiǎn)靶點(diǎn)在哪里？如何針對(duì)風(fēng)險(xiǎn)靶點(diǎn)解決“算法歧視”問題？

首先，在問題建構(gòu)維度，人工智能犯罪風(fēng)險(xiǎn)評(píng)估的基礎(chǔ)理論帶有“算法歧視”的基因，導(dǎo)致基于此研發(fā)出的人工智能犯罪風(fēng)險(xiǎn)評(píng)估工具帶有“算法歧視”的風(fēng)險(xiǎn)。目前，國(guó)內(nèi)外常用的犯罪風(fēng)險(xiǎn)評(píng)估工具，如《中國(guó)罪犯心理評(píng)估個(gè)性分測(cè)驗(yàn)（COPA-PI）》等，均是以人格特質(zhì)理論為基礎(chǔ)進(jìn)行問題建構(gòu)，其基本假設(shè)是個(gè)體內(nèi)的行為傾向差異性小于個(gè)體間的行為傾向差異性，依靠對(duì)個(gè)體特質(zhì)的測(cè)量能夠描述出個(gè)體的行為傾向。由于基礎(chǔ)層面的人格理論存在局限性，造成了應(yīng)用層面的犯罪風(fēng)險(xiǎn)評(píng)估存在局限性。人格特質(zhì)理論的局限性主要表現(xiàn)為米歇爾（Mischel）曾經(jīng)對(duì)人格理論效度的質(zhì)疑，認(rèn)為人格特質(zhì)不具有較高效度，從而在預(yù)測(cè)人類行為上存在缺陷。奧爾波特（Allport）對(duì)此回應(yīng)稱：“對(duì)于情境主義者來說，我承認(rèn)，我們的特質(zhì)理論不可能像以前那樣簡(jiǎn)單了，我們現(xiàn)在所面臨的挑戰(zhàn)是（如何）解開構(gòu)成一個(gè)人的復(fù)雜（行為）傾向的網(wǎng)絡(luò)，無論在不同的情境下被以不同的方式激活時(shí)，它（行為傾向）看起來有多么矛盾”。[16]

其次，造成人工智能犯罪風(fēng)險(xiǎn)評(píng)估“算法歧視”的風(fēng)險(xiǎn)靶點(diǎn)主要包括以下兩個(gè)方面。

一方面，人格特質(zhì)理論的測(cè)量方式與統(tǒng)計(jì)建模方式。傳統(tǒng)的人格特質(zhì)理論主要依靠自我報(bào)告法進(jìn)行數(shù)據(jù)收集，并建立簡(jiǎn)單的等級(jí)或者分?jǐn)?shù)衡量個(gè)體在每種特質(zhì)上的得分。這種測(cè)量方式與統(tǒng)計(jì)建模方式與日常生活中具有高度可變性的實(shí)踐現(xiàn)象存在沖突，過度簡(jiǎn)化了現(xiàn)實(shí)的復(fù)雜性。弗里森（Fleeson）等通過在實(shí)驗(yàn)室控制環(huán)境下，招募了183名觀察者對(duì)97個(gè)實(shí)驗(yàn)參與者進(jìn)行行為觀察與評(píng)價(jià)，根據(jù)觀測(cè)數(shù)據(jù)，發(fā)現(xiàn)就行為變化程度而言，個(gè)體內(nèi)差異性有時(shí)甚至高于個(gè)體間差異性，采用傳統(tǒng)的自我報(bào)告法與統(tǒng)計(jì)建模法幾乎不能根據(jù)個(gè)體特質(zhì)準(zhǔn)確預(yù)測(cè)個(gè)體行為。但是將行為傾向構(gòu)建為一個(gè)概率密度函數(shù)，則可以使用人格特質(zhì)進(jìn)行行為傾向預(yù)測(cè)，并由此提出了“全面特質(zhì)理論”（WTT：Whole Trait Theory）。[17]

另一方面，人格特質(zhì)理論主要對(duì)人格特質(zhì)與穩(wěn)定的行為傾向進(jìn)行描述，構(gòu)建出了層次化、系統(tǒng)化的描述體系，但是缺乏對(duì)“這些特質(zhì)從何而來”“為什么在相似的情境下，有相似特質(zhì)的人會(huì)出現(xiàn)相似的行為傾向”等問題的回答，即缺乏對(duì)人格特質(zhì)的成因以及其與行為傾向之間的因果關(guān)系的解釋。行為預(yù)測(cè)的經(jīng)典理論“列文公式”指出：“個(gè)體行為是由個(gè)體的心理狀態(tài)與個(gè)體所處的外部環(huán)境共同決定的。”[18]但是人格特質(zhì)理論主要是從個(gè)體心理狀態(tài)出發(fā)，將個(gè)體穩(wěn)定的心理特征作為主要研究對(duì)象來預(yù)測(cè)行為傾向，忽視了個(gè)體所處的外部環(huán)境，由于理論關(guān)注點(diǎn)的缺位，人格特質(zhì)理論始終無法達(dá)到較強(qiáng)的行為預(yù)測(cè)效度。

最后，針對(duì)人工智能犯罪風(fēng)險(xiǎn)評(píng)估“算法歧視”的理論基礎(chǔ)中的兩個(gè)風(fēng)險(xiǎn)靶點(diǎn)，應(yīng)當(dāng)公開關(guān)于人工智能犯罪風(fēng)險(xiǎn)評(píng)估問題建構(gòu)維度相關(guān)信息，并賦予利益相關(guān)用戶對(duì)上述信息的解釋申請(qǐng)權(quán)。

（二）人工智能犯罪風(fēng)險(xiǎn)評(píng)估的模型設(shè)計(jì)維度

在人工智能犯罪風(fēng)險(xiǎn)評(píng)估的模型設(shè)計(jì)維度，應(yīng)當(dāng)結(jié)合我國(guó)人工智能犯罪風(fēng)險(xiǎn)評(píng)估常用的計(jì)算模型公開或解釋：人工智能犯罪風(fēng)險(xiǎn)評(píng)估是基于風(fēng)險(xiǎn)預(yù)測(cè)還是因果推斷的計(jì)算方式來進(jìn)行模型設(shè)計(jì)。

在美國(guó)犯罪風(fēng)險(xiǎn)評(píng)估的COMPASS系統(tǒng)出現(xiàn)疑似“算法歧視”現(xiàn)象之后，人工智能機(jī)器學(xué)習(xí)領(lǐng)域針對(duì)其公開的風(fēng)險(xiǎn)預(yù)測(cè)模型設(shè)計(jì)方式，曾提出了如何從技術(shù)上對(duì)智能化犯罪風(fēng)險(xiǎn)評(píng)估工具進(jìn)行變革的提議：“精算風(fēng)險(xiǎn)評(píng)估工具中的統(tǒng)計(jì)系統(tǒng)會(huì)重現(xiàn)數(shù)據(jù)中的歧視模式與歷史偏見模式，如果機(jī)器學(xué)習(xí)的目的僅僅是為了預(yù)測(cè)個(gè)人未來是否會(huì)犯罪，那么很難打破司法系統(tǒng)本身的‘醫(yī)源性效應(yīng)’（Iatrogenic Effects of the Criminal Justice System）”，“機(jī)器學(xué)習(xí)的目的不應(yīng)當(dāng)僅僅是預(yù)測(cè)，而是形成一種因果模型，用于幫助人來理解社會(huì)”。[13]簡(jiǎn)言之，犯罪風(fēng)險(xiǎn)評(píng)估工具在與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等人工智能技術(shù)融合之后，應(yīng)當(dāng)更加側(cè)重于強(qiáng)調(diào)輔助人類進(jìn)行因果關(guān)系的計(jì)算與推斷。

當(dāng)代深度學(xué)習(xí)技術(shù)創(chuàng)始人之一、圖靈獎(jiǎng)得主朱迪亞·珀?duì)枺↗udea Pearl）提出機(jī)器學(xué)習(xí)進(jìn)入應(yīng)用領(lǐng)域有“適應(yīng)性”“可解釋性”與“因果關(guān)系”（推理）三大障礙，目前已經(jīng)基本上跨過了第一個(gè)障礙，在第二個(gè)障礙上也取得了一些進(jìn)展，但是仍然需要努力跨過“因果關(guān)系”（推理）的障礙。[19]因果關(guān)系在本質(zhì)上包括三個(gè)層次，基本層次是“關(guān)聯(lián)”（Association），中間層次是“干預(yù)”（Intervention），最高層次是“反事實(shí)”（Counter-Factual），“關(guān)聯(lián)”層次是純粹的統(tǒng)計(jì)問題，一般采用相關(guān)性或者回歸模型即可確定，“干預(yù)”則不能從直接的輸入輸出關(guān)聯(lián)分析中得到，需要進(jìn)行更深入的因果計(jì)算，“反事實(shí)”則是人類獨(dú)有的思考方式，對(duì)不存在的現(xiàn)象進(jìn)行純粹的智能加工與分析。在因果計(jì)算與推理技術(shù)方面，問題的難點(diǎn)在于“在什么環(huán)境下，采用什么方式，能夠基于觀察數(shù)據(jù)來得出因果關(guān)系結(jié)構(gòu)”，這一難點(diǎn)也被稱為“從非實(shí)驗(yàn)數(shù)據(jù)中發(fā)現(xiàn)因果關(guān)系的方法”。[20]針對(duì)這一問題，目前的前沿進(jìn)展包括使用“獨(dú)立因素分析”（Independent Component Analysis）[21]、使用“貝葉斯網(wǎng)絡(luò)模型”[20]等技術(shù)進(jìn)行因果關(guān)系的計(jì)算與推斷。

針對(duì)人工智能犯罪風(fēng)險(xiǎn)評(píng)估“算法歧視”在模型設(shè)計(jì)層面的問題，應(yīng)當(dāng)公開人工智能犯罪風(fēng)險(xiǎn)評(píng)估在模型設(shè)計(jì)層面采用了怎樣的計(jì)算模型，屬于風(fēng)險(xiǎn)預(yù)測(cè)性質(zhì)的模型還是因果推斷性質(zhì)的模型，并賦予利益相關(guān)用戶對(duì)上述信息的解釋申請(qǐng)權(quán)。

（三）人工智能犯罪風(fēng)險(xiǎn)評(píng)估的研發(fā)過程

從規(guī)范與審核的角度來看，規(guī)范或者審核的重點(diǎn)并非已經(jīng)完成開發(fā)的算法或者技術(shù)成果，而是應(yīng)當(dāng)結(jié)合我國(guó)人工智能犯罪風(fēng)險(xiǎn)評(píng)估研發(fā)機(jī)制與研發(fā)實(shí)踐，從更前置的研發(fā)過程規(guī)范并審核：犯罪學(xué)、犯罪心理學(xué)的科學(xué)理論與應(yīng)用技術(shù)的融合方式，科學(xué)理論向應(yīng)用技術(shù)的轉(zhuǎn)化機(jī)制以及驗(yàn)證性評(píng)價(jià)方式。

首先，如何規(guī)范或?qū)徍丝茖W(xué)理論與應(yīng)用技術(shù)的融合方式？在人工智能犯罪風(fēng)險(xiǎn)評(píng)估的研發(fā)實(shí)踐中，經(jīng)常出現(xiàn)跨學(xué)科協(xié)作混亂，科學(xué)理論與應(yīng)用技術(shù)難以有機(jī)融合的局限性。以當(dāng)前人工智能技術(shù)與科學(xué)研究前沿實(shí)踐的融合方式來看，人工智能技術(shù)應(yīng)當(dāng)與具體的專業(yè)研究密切融合，并為專業(yè)領(lǐng)域的復(fù)雜問題提供輔助支撐是最佳實(shí)踐方式。以結(jié)構(gòu)生物學(xué)研究為例，諾貝爾獎(jiǎng)得主克里斯蒂安·安費(fèi)森（Christian Anfinsen）早在1972年就指出“蛋白質(zhì)的氨基酸序列能夠完全決定其3D結(jié)構(gòu)”，在藥物研發(fā)等研究中，蛋白質(zhì)的功能研究是重點(diǎn)研究的科學(xué)問題，蛋白質(zhì)的功能主要由結(jié)構(gòu)決定。但是傳統(tǒng)上依靠實(shí)驗(yàn)方法確定蛋白質(zhì)的結(jié)構(gòu)，時(shí)間成本與經(jīng)濟(jì)成本均較高。為了解決這一問題，DeepMind研發(fā)了AlphaFold人工智能系統(tǒng)，并在2021年進(jìn)行了迭代升級(jí)，升級(jí)后的AlphaFold2在國(guó)際蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)競(jìng)賽（CASP）上實(shí)現(xiàn)了精確的蛋白質(zhì)3D結(jié)構(gòu)預(yù)測(cè)，堪比高成本的冷凍電子顯微鏡與磁共振成像等實(shí)驗(yàn)技術(shù)所得到的結(jié)果。簡(jiǎn)言之，AlphaFold的使用將人工智能技術(shù)與具體專業(yè)深度融合，針對(duì)傳統(tǒng)科研中成本較高、難以大規(guī)模普及的技術(shù)難點(diǎn)著重發(fā)力，提升了傳統(tǒng)研究的工作效率，是人工智能技術(shù)與科學(xué)理論、具體專業(yè)結(jié)合的最佳實(shí)踐范例之一。具體到人工智能犯罪風(fēng)險(xiǎn)評(píng)估領(lǐng)域，科學(xué)問題應(yīng)當(dāng)以犯罪心理學(xué)為視角提出，由多個(gè)學(xué)科提供支撐。

例如，犯罪心理學(xué)常常對(duì)同一種犯罪行為存在多種“競(jìng)爭(zhēng)性解釋”（2），由此造成的問題是如何在競(jìng)爭(zhēng)性理論中選擇犯罪風(fēng)險(xiǎn)評(píng)估工具的心理學(xué)理論依據(jù)？全球領(lǐng)先的“大范圍首先”理論的創(chuàng)始人、中國(guó)科學(xué)院院士陳霖指出借助當(dāng)前的腦認(rèn)知成像技術(shù)，“定位各個(gè)腦區(qū)的認(rèn)知功能及其相互聯(lián)系，揭示認(rèn)知功能在大腦的神經(jīng)表達(dá)”，能夠?yàn)閺母?jìng)爭(zhēng)性理論中尋求依據(jù)提供“生物學(xué)約束”。[22]簡(jiǎn)言之，以腦認(rèn)知成像等生物信息證據(jù)為標(biāo)準(zhǔn)，為理論選取提供客觀支撐，能夠在跨學(xué)科協(xié)作中解決犯罪心理學(xué)存在的“競(jìng)爭(zhēng)性解釋”問題。[23]

再如，犯罪風(fēng)險(xiǎn)評(píng)估研究的目的是預(yù)測(cè)犯罪行為傾向與解釋犯罪行為傾向的成因，但是由于實(shí)踐中的犯罪成因非常復(fù)雜、地區(qū)與群體等差異性極大，故常常出現(xiàn)“可重復(fù)危機(jī)”（Replication Crisis），由此造成的問題是如何克服這種因復(fù)雜性形成的“可重復(fù)性危機(jī)”？為了應(yīng)對(duì)心理學(xué)研究中的“可重復(fù)性危機(jī)”，馬庫(kù)斯·穆那弗（Marcus R.Munafo）等在《自然》雜志上提出了“三角測(cè)量”的應(yīng)對(duì)方案，面對(duì)同一個(gè)問題，從多種不同的假設(shè)出發(fā)，綜合分析不同假設(shè)路徑延伸出的解釋理論，采用不同的角度獲得的證據(jù)支撐研究假設(shè)，而“強(qiáng)有力的理論是從多條證據(jù)線索中綜合產(chǎn)生的”。[24]杰克·霍夫曼（Jake M.Hofmman）等在《科學(xué)》雜志上提出了復(fù)雜社會(huì)系統(tǒng)的預(yù)測(cè)與解釋的方法論，強(qiáng)調(diào)“必須在復(fù)雜的社會(huì)系統(tǒng)中，明確（社會(huì)）理論在精確預(yù)測(cè)中的局限性，為預(yù)測(cè)和解釋的對(duì)象設(shè)定期望”。[25]

其次，如何規(guī)范或?qū)徍丝茖W(xué)理論向應(yīng)用技術(shù)的轉(zhuǎn)化機(jī)制？犯罪風(fēng)險(xiǎn)評(píng)估理論很難轉(zhuǎn)化為具體的人工智能技術(shù)成果。為了解決這一問題，在犯罪風(fēng)險(xiǎn)評(píng)估理論與方法轉(zhuǎn)化為計(jì)算機(jī)系統(tǒng)前，需要完成理論的形式化轉(zhuǎn)化與計(jì)算模型、算法的專門設(shè)計(jì)。犯罪風(fēng)險(xiǎn)評(píng)估理論屬于社會(huì)科學(xué)領(lǐng)域的理論體系，更多側(cè)重于搭建“因果規(guī)范性網(wǎng)絡(luò)”，但是在數(shù)理的形式化描述和計(jì)算模型方面的建構(gòu)不足。設(shè)計(jì)智能化犯罪風(fēng)險(xiǎn)評(píng)估工具的難點(diǎn)也在于如何將偏重社會(huì)科學(xué)色彩的理論，轉(zhuǎn)化為計(jì)算機(jī)可讀取、可分析、可計(jì)算的數(shù)據(jù)與模型。借鑒人工智能領(lǐng)域的培養(yǎng)體系，搭建起理論到計(jì)算的關(guān)鍵橋梁主要是離散數(shù)學(xué)理論，在離散數(shù)學(xué)理論的指導(dǎo)下將理論轉(zhuǎn)化為算法與模型，才能為后續(xù)的智能系統(tǒng)開發(fā)建立基礎(chǔ)。

最后，如何規(guī)范或?qū)徍蓑?yàn)證性評(píng)價(jià)方式？當(dāng)人工智能科技成果未經(jīng)過早期階段較為充分的社會(huì)應(yīng)用效應(yīng)研究與驗(yàn)證時(shí)，很容易產(chǎn)生不可挽回的社會(huì)損失，避免“科林格里奇陷阱”的一個(gè)重要措施是進(jìn)行充分的早期應(yīng)用效應(yīng)研究與驗(yàn)證。在我國(guó)實(shí)踐中，功能實(shí)現(xiàn)與效果驗(yàn)證一般由負(fù)責(zé)系統(tǒng)開發(fā)的產(chǎn)業(yè)機(jī)構(gòu)實(shí)施，但是目前產(chǎn)業(yè)機(jī)構(gòu)與研究機(jī)構(gòu)均缺乏“人工智能的社會(huì)系統(tǒng)分析”，即使用人工智能技術(shù)會(huì)對(duì)應(yīng)用領(lǐng)域相關(guān)的人群產(chǎn)生哪些持續(xù)性影響方面的研究。域外為了避免技術(shù)廣泛應(yīng)用后出現(xiàn)的不良后果，已經(jīng)啟動(dòng)相關(guān)研究，例如美國(guó)伊利諾伊州曾采用人工智能技術(shù)生成槍擊事件的犯罪風(fēng)險(xiǎn)評(píng)估“熱力圖”預(yù)測(cè)最可能實(shí)施槍擊行為的人，但是社會(huì)分析表明這一技術(shù)“增加了一些人成為警察襲擊目標(biāo)的風(fēng)險(xiǎn)，但是未能降低槍擊案件的犯罪風(fēng)險(xiǎn)”。[26]凱特·克勞福德（Kate Crawford）等在《自然》上提出應(yīng)當(dāng)進(jìn)行“人工智能的社會(huì)分析”研究，“不同的學(xué)科與政府部門應(yīng)當(dāng)合作調(diào)研社區(qū)、公共服務(wù)等信息，并分析這些差異如何塑造了人工智能訓(xùn)練數(shù)據(jù)的差異性”;在此基礎(chǔ)上應(yīng)當(dāng)進(jìn)一步著重分析“人們?cè)谑裁磿r(shí)間、什么情況下會(huì)更容易受到某種人工智能技術(shù)的影響”[27]，并從哲學(xué)、法律、人類學(xué)等多個(gè)學(xué)科、多種角度剖析這些技術(shù)的應(yīng)用會(huì)帶來什么樣的社會(huì)后果。對(duì)應(yīng)到我國(guó)的人工智能犯罪風(fēng)險(xiǎn)評(píng)估研究實(shí)踐中，目前國(guó)家已經(jīng)發(fā)布多個(gè)國(guó)家重點(diǎn)研發(fā)計(jì)劃專項(xiàng)進(jìn)行系統(tǒng)研發(fā)，在國(guó)家重點(diǎn)研發(fā)計(jì)劃的應(yīng)用示范環(huán)節(jié)，應(yīng)當(dāng)增加對(duì)所研發(fā)的智能化犯罪風(fēng)險(xiǎn)評(píng)估系統(tǒng)的應(yīng)用效應(yīng)分析，在試點(diǎn)單位對(duì)其可能產(chǎn)生的政治、法律、經(jīng)濟(jì)、社會(huì)、文化等多方面后果進(jìn)行系統(tǒng)分析與推演，確保新型技術(shù)的應(yīng)用不會(huì)走入“算法歧視”陷阱和“科林格里奇困境”。

結(jié) 語(yǔ)

我國(guó)人工智能犯罪風(fēng)險(xiǎn)評(píng)估工具的研發(fā)已經(jīng)取得初步進(jìn)展，為了避免人工智能犯罪風(fēng)險(xiǎn)評(píng)估掉入“算法歧視”的陷阱，需要在技術(shù)已經(jīng)出現(xiàn)初步的實(shí)踐成果與示范，尚未達(dá)到規(guī)模化應(yīng)用之前，及時(shí)探索人工智能犯罪風(fēng)險(xiǎn)評(píng)估的算法規(guī)制路徑。對(duì)我國(guó)人工智能犯罪風(fēng)險(xiǎn)評(píng)估進(jìn)行算法規(guī)制，應(yīng)當(dāng)結(jié)合我國(guó)犯罪學(xué)、犯罪心理學(xué)理論，以及犯罪行為、犯罪風(fēng)險(xiǎn)、犯罪風(fēng)險(xiǎn)因子集合等方面的獨(dú)特性，針對(duì)我國(guó)人工智能犯罪風(fēng)險(xiǎn)評(píng)估理論基礎(chǔ)構(gòu)建的科學(xué)性，以及模型設(shè)計(jì)在風(fēng)險(xiǎn)預(yù)測(cè)或成因解釋方面的側(cè)重性，采用公開或者解釋的方法進(jìn)行算法規(guī)制。同時(shí)，由于人工智能犯罪風(fēng)險(xiǎn)評(píng)估結(jié)論很可能影響被評(píng)估人的人身權(quán)利受限程度，未來應(yīng)當(dāng)從更早期的研發(fā)階段、以更加嚴(yán)格的標(biāo)準(zhǔn)審核人工智能犯罪風(fēng)險(xiǎn)評(píng)估研發(fā)過程與研發(fā)機(jī)制，從而提升我國(guó)人工智能犯罪風(fēng)險(xiǎn)評(píng)估的科學(xué)性與公正性。

注釋：

（1）參見David Collingridge.The Social Control of Technology，London.Frances Printer，1980：19.“科林格里奇困境”指的是技術(shù)控制的兩難困境，在技術(shù)發(fā)展應(yīng)用的早期，對(duì)技術(shù)進(jìn)行社會(huì)控制較容易，但是由于缺乏專業(yè)知識(shí)等，所以并不知道如何進(jìn)行合理有效的社會(huì)控制;在技術(shù)發(fā)展應(yīng)用的晚期，對(duì)技術(shù)進(jìn)行社會(huì)控制較難，雖然已經(jīng)獲得了大量知識(shí)，但是已經(jīng)很難扭轉(zhuǎn)技術(shù)深入社會(huì)系統(tǒng)的局面。

（2）參見陳霖：《認(rèn)知科學(xué)的三大基石》，《中國(guó)科學(xué)基金》2017年第3期。“競(jìng)爭(zhēng)性解釋”指的是在認(rèn)知科學(xué)的研究過程中，任何一種認(rèn)知心理現(xiàn)象，即便是最簡(jiǎn)單的實(shí)驗(yàn)，其結(jié)果的解釋都是不唯一的，任何一種認(rèn)知心理現(xiàn)象都有多種解釋。

參考文獻(xiàn)：

[1]Julia Angwin， Jeff Larson， Surya Mattu， Lauren Kirchner. Machine Bias In： Ethics of Data and Analytics[M]. NewYork：Auerbach Publications，2022：11.

[2]李成.人工智能歧視的法律治理[J].中國(guó)法學(xué)，2021，（2）：122-147.

[3]何積豐.安全可信人工智能[J].通信安全與通信保密，2019，（10）：8

[4]丁曉東.論算法的法律規(guī)制[J].中國(guó)社會(huì)科學(xué)，2020，（12）：138-159，203.

[5]李曉輝.算法商業(yè)秘密與算法正義[J].比較法研究，2021，（3）：105-121.

[6]李訓(xùn)虎.刑事司法人工智能的包容性規(guī)制[J].中國(guó)社會(huì)科學(xué)，2021，（2）：42-62.

[7]D. A. Andrews， James Bonta， J. Stephen Wormith. The Recent Past and Near Future of Risk and/or Need Assessment[J]. Crime and Delinquency， 2006，（1）：7-27.

[8]Kelly Hannah-Moffffat. Actuarial Sentencing， An "Unsettled" Proposition[J]. Justice Quarterly， 2013， （2）：270-296.

[9]Malcolm M. Feeley，Jonathan Simon. The New Penology， Notes on the Emerging Strategy of Corrections and Its Implications[J]. Criminology，1992，（4）：449-475.

[10]Bernard E. Harcourt. Risk as A Proxy for Race： The Dangers of Risk Assessment[J]. Federal Sentencing Reporter，2015，（4）：237-243.

[11]Hamilton ?Melissa. Back to the Future： The Influence of Criminal History on Risk Assessment [J]. 20 Berkeley Journal of Criminal Law，2015，（1）：75-119.

[12]馬皚，孫曉，宋業(yè)臻.智能化犯罪危險(xiǎn)性評(píng)估的理論與實(shí)踐[M].北京：法制出版社，2020：12.

[13]Chelsea Barabas，Karthik Dinakar，Jochi Ito，Marlas Virza，Jonathan Zittrain. Interventions over Predictions：Reframing the Eyhical Debate for Actuarial Risk Assessment[C]. Proceedings of Machine Learning Research，2018，81：1-15.

[14]許可，朱悅.算法解釋權(quán)：科技與法律的雙重視角[J].蘇州大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2020，（2）：64.

[15]許可.算法規(guī)制體系的中國(guó)建構(gòu)與理論反思[J].法律科學(xué)（西北政法大學(xué)學(xué)報(bào)），2022，（1）：124-132.

[16]Allport Gordon Willard.The Person in Psychology：Selected Essays[M]. Boston：Beacon Press，1968：47.

[17]Fleeson W.，Law M.K..Trait Enactments as Density Distributions. The Role of Action， Situations and Observes in Explaining Stability and Variability[J]. Journal of Personality and Social Psychology，2015，（6）：1090-1104.

[18]Lewin Kurt.Behavior and Development as A Function of the Total Situation， In Carmichael，L.（Ed.）Manual of Child Psychology[M]. NewYork：John Wiley，1946：797-844.

[19]Pearl Judea. Radical Empiricism and Machine Learning Research[J]. Journal of Causal Inference，2021，（1）：78-82.

[20]Pearl Judea. Causality.Models，Reasoning and Inference[M]. London：Cambridge University Press，2000：3.

[21]Shimizu Shohei，Hoyer Patrik O.，Hyvarinen Aapo，et al. A linear non-Gaussian Acyclic Model for Causal Discovery[J]. Journal of Machine Learning Research，2006，（10）：2003-2030.

[22]陳霖.認(rèn)知科學(xué)的三大基石[J].中國(guó)科學(xué)基金，2017，（3）：209-210.

[23]陳霖.認(rèn)知科學(xué)若干基本問題的研究進(jìn)展[J].中國(guó)科學(xué)院院刊，1993，（2）：112-118.

[24]Munafo Marcus R.，Simith ?George Davey. Repeating Experiments is not Enough[J].Nature，2018，553（7689）：399-401.

[25]Hofman Jake M.，Sharma Amit，Watts Duncan J.. ?Prediction and Explanation in Social System[J].Science，2017，355（6324）：486-488.

[26]Saunders J.，Hunt P.，Hollywood John S.. Predictions Put into Practice：A Quasi-experimental Evaluation of Chicago's Predictive Policing Pilot[J]. Journal of Experimental Criminology，2016，12（3）：347-371.

[27]Crawford Kate，Calo Ryan. There is A Blind Spot in AI Research[J].Nature，2016，538（7625）：311-313.

（責(zé)任編輯 吳 楠）

本刊網(wǎng)址·在線雜志：www.jhlt.net.cn

*基金項(xiàng)目：教育部人文社會(huì)科學(xué)研究一般項(xiàng)目“人工智能視域下社區(qū)矯正對(duì)象再犯風(fēng)險(xiǎn)的動(dòng)態(tài)評(píng)估體系研究”（21YJAZH058）

作者簡(jiǎn)介：馬皚（1962—），北京人，中國(guó)政法大學(xué)社會(huì)學(xué)院教授，博士生導(dǎo)師，主要研究方向：犯罪心理學(xué);宋業(yè)臻（1990—），山西太原人，心理學(xué)博士，青島認(rèn)知人工智能研究院研究員，主要研究方向：人工智能。