人工智能時代算法黑箱的法治化治理

吳椒軍 郭婉兒

摘??? 要：算法作為人類利用機器抓取、處理并輸出數據的手段，其所得結果受到編寫者主觀偏差，技術偏差等多種影響。因算法編寫的高度專業性，用戶無法知悉有關于自身信息數據被抓取，處理以及應用的細節，這樣的不透明性顯然對用戶的權益與社會秩序造成影響，對我國的法律機制也帶來極大挑戰。針對算法的運行模式，剖析算法黑箱帶來的個人信息數據侵權、算法偏見及司法救濟三重危機。通過對歐盟《通用數據保護條例》與歐洲《人工智能倫理與數據保護宣言》對算法黑箱的治理條款，針對上述三重危機從技術角度、法律角度與倫理角度對算法黑箱進行法治化管理，以實現算法黑箱法治化治理層面的合法性與最佳性耦合。

關鍵詞：算法黑箱;算法偏見;個人信息;人工智能;技術倫理

中圖分類號：D 923.8???????? ? ??文獻標志碼：A??? ?????????? 文章編號：2096-9783（2021）01-0019-10

引? 言

2013年，美國康斯威星州法院以五項罪名指控一位名叫Eric的公民，在量刑階段，州法院根據政府罪犯改造部門提供的量刑前調查報告，判決Eric 6年監禁5年監外管制。該判決依據由美國一技術開發公司研究的COMPAS算法，根據其各項個人數據和先前的調查，計算出被評估者再次犯罪的可能性。Eric不服判決，認為COMPAS算法的技術提供方亦無法確保該算法計算出的數據是否絕對準確。然而COMPAS算法技術提供方以算法邏輯是商業機密為由拒絕公開，最高法院也未曾要求其做出解釋。

算法作為一種輸入-處理-輸出結果的方法，其運作依靠數據匯集和機器深度學習。這種運作過程雖來自于人類的編寫，但其自身的深度學習呈現出的卻是常人無法參與的未知地帶。這種未知，即是算法黑箱的體現。在人工智能時代下，算法被應用在人類生活的方方面面，而作為無可避免的弊端之一的算法黑箱亦是緊跟而來。例如在商業領域中，算法黑箱不透明與不可解釋的特征必然導致開發使用者與消費者之間存在信息不對等;在個人征信情境下，算法黑箱所帶來的歧視與偏見會操縱個人信用評分等等。本文認為，實現算法黑箱的法治化路徑應當針對其每一級運行中反映出的法律問題，找尋解決方法，以實現算法黑箱法治化管理層面的合法性與最佳性耦合。

一、算法黑箱引發三重法律危機

人工智能實現的基本方式是算法。人類借助計算機，將已獲得驗證的人類經驗以程序語言輸入，組建模擬人類思維模式的模型，然而該技術的算法運行邏輯存在著難以探究的隱秘層面，即所謂的“黑箱”。它指的是為人所不知的那些既不能打開、又不能從外部直接觀察其內部狀態的系統。 而“算法黑箱”在筆者看來特指機器深度學習時，其復雜的神經元網絡中存在的不為人所直觀捕捉到的隱層。算法黑箱的威脅貫穿于數據采集，算法運行以及應用于社會服務三個層級，在此三個層級中存在三重法律危機，即：數據采集階段的個人信息數據侵權危機，算法計算運行階段的結果偏見危機，算法應用于社會服務階段的救濟危機。

（一）算法黑箱引發個人信息數據侵權危機

2013年，朱某在網上搜索“減肥”“豐胸”等關鍵詞后，再登錄其他網站時出現了與該關鍵詞相關的各種推送廣告。朱某認為百度公司在其毫不知情的情況下，濫用cookie技術跟蹤記錄了自己的搜索關鍵詞;在自己未明確授權的情況下，收集并公開了其個人隱私內容并大力投送相關廣告，故向南京市鼓樓區人民法院起訴百度公司。2015年， Facebook上的一款第三方測試小程序通過用戶的使用而獲取了其家庭、交友圈等個人資料。而資料的獲取者隨后將數據賣給一家數據分析企業，用以在用戶中針對性的為某位總統候選人提高知名度與曝光度。

算法的運行需要以掌握個人信息數據作為先決條件，而個人信息數據安全則是算法運行中的阿喀琉斯之踵。算法在數據采集階段，自Web站點根據既定規則采集原網頁中所需要的信息，保存至數據庫等待進一步處理。而與數據采集無法割裂的一項技術在這里則成為了本階段頻發個人信息數據侵權危機的問題核心——cookie技術，該技術在全球范圍內被Google、Amazon等網絡平臺頻繁使用。它連接服務器與瀏覽器進行信息交互，以支持服務器在瀏覽器上儲存信息。即用戶在使用電腦瀏覽網頁時，其每一個瀏覽的Web站點都會以cookie文本文件形式自動保存瀏覽信息。對于網絡經營者來說，cookie的使用與運行能夠為其提供大量的用戶信息數據，以便經營者進行深度分析后實現精準有效的個性化推送，因此也成為了網絡經營者趨之若鶩的重要資源。技術本身作為科學進步的標志，不應當有非善即惡的評判，因此在現今世界各國都認為cookie技術是中立存在的，對其規制都盡在發生侵權行為后以事后救濟的手段解決法律問題。本文將cookie技術對個人信息數據侵權做如下闡述：

第一，cookie技術通常不需獲得特別許可即可儲存用戶信息。以搜索引擎為例，在用戶使用搜索引擎搜索相關信息時，并未有醒目的條款在第一時間提醒他們，是否同意由該服務器保存其搜索內容，以及這種行為是否會涉及到用戶的隱私。用戶對收集其數據、處理其數據的算法都具有知情權，人們有權知道該種算法如何搜集他們的信息，搜集信息的目的，如何處理信息以及被處理后的信息流向等。用戶對該算法是否能夠收集處理其數據，收集的部分有多少，處理的程度如何，是否能夠被第三方索引等也同樣具有選擇權利。然而網絡平臺經營者雖然都會提供用戶須知事項，但所占頁面篇幅小、另有獨立頁面且不明確告知等情況的存在，使用戶陷入了一種“被迫自愿”允許個人信息數據被儲存的風險中。如百度公司在用戶使用搜索引擎時列出的《使用百度前必讀》，位于偌大網頁的最下方，字體較小且不明顯，容易被大多數用戶忽略。在百度搜索框中打出“使用百度必讀”，搜索頁自動推薦最高搜索量的關鍵詞是“使用百度前必讀在哪里”。

第二，cookie技術獲得的用戶個人數據存在非自愿被交易的可能性。Cookie技術保存用戶個人信息數據的行為，原本應當是網絡平臺經營者與用戶雙方之間的交互行為，但此類數據并不會僅僅作為被儲存的文件閑置。網絡平臺經營者會將該類數據儲存文件作為商品，向第三方公司提供OpenAPI接口，以便第三方公司使用協同過濾算法分析計算用戶信息，提取其偏好與需求，與購買廣告推送的第三方公司進行交易，針對用戶進行個性化推送服務。更有甚者，會利用爬蟲技術通過Web端或APP端，非法竊取儲存的cookie文件，以進一步抓取用戶性別，職業，工作地點等可以識別用戶個人身份的更加隱私的數據。此時，用戶對個人信息數據已被整合分析毫不知情，甚至不會知道第三方的存在。用戶的個人數據海量流向市場，通過協同過濾得到用戶的偏好、需求甚至個人隱私信息，有針對性的投放廣告或者出賣信息以作非法用途，對于用戶來說，該行為會侵犯消費者的公平選擇權，或暴露用戶個人隱私，將其放置在被電信詐騙等風險中。對其它商家來說，該行為會導致各商戶信息的橫向不對等，掌握大量資源分析的一方能夠得到更多利益，以產生不正當競爭的風險，甚至會激起商家不惜利用非法手段競相爭奪個人信息數據的局面，從而破壞社會經濟秩序與法制秩序。

第三，cookie技術獲得的用戶個人信息數據定性有異議。我國2012年11月5日批準發布的《信息安全技術公共及商用服務信息系統個人信息保護指南》中明確個人信息指可為信息系統所處理、與特定自然人相關、能夠單獨或通過其他信息結合識別該特定自然人的計算機數據。個人信息的定義要求通過該信息能夠準確識別其來源于某個特定主體，網絡隱私權則將公民的私人信息和敏感信息作為保護的對象。以如根據個人信息的定義來看，cookie技術傳輸至服務器的信息僅能讓服務器識別瀏覽器，即不同人使用同一個瀏覽器檢索信息，服務器會將其識別為一個瀏覽器，即無法以獲取的信息識別某一個特定的用戶。因其獲得的數據無法識別特定用戶的身份，就不應當算做個人信息的范圍。但網絡用戶注冊的ID的郵箱，IP登錄地址，甚至是有可能暴露用戶的個人定位、個人需求、個人秘密的搜索痕跡，屬于用戶的個人痕跡信息，是未經其許可不能被公開的信息，應當是公眾視角下的私密信息，不應當存在與法律保護的灰色地帶。僅僅將個人信息的定義作狹義解釋，忽略其在被應用環境下的現實情況，實在有違個人信息保護立法的初衷[1]。

（二）算法黑箱引發結果偏見危機

在抓取了所需數據后，算法開始進行運算。在此階段算法的運行可以分為兩種情況：一是算法編寫者根據其需要，撰寫算法運行的程序，以人為設置與干預的方式使算法進行運算，最后得出想要的結果。二是算法具備自我學習的能力，在建立一個神經元的基礎上，處理數據得出結論后再將該結論傳遞給其他相鄰神經元，再由該神經元繼續以上操作直至得出有效結論的深度學習。在此，本文僅對第一種情況做討論。依靠人為編程的算法運行極易出現算法偏見（也稱算法歧視）：算法編寫者是具有社會性的人類，其自身的價值觀、所處的文化氛圍社會制度，以及外部需求（如提出要求驅使編程人員編寫代碼以實現需求的企業），都會影響到最終編寫出的算法，即所謂的先行存在偏見（Pre-existing Bias）[2]。但先行存在偏見并非只來自于算法編寫者的個人偏見，同樣也會有來自數據的偏見與機器自主學習的偏見。本文對算法偏見危機將做如下闡述：

第一，來源于算法編寫者的個人偏見與需求會導致算法偏見發生。以搜索引擎為例，搜索引擎所能夠提供的網頁是有限的，超出該引擎索引庫的網址并不能夠出現在用戶的搜索范圍內。如百度公司提供的用戶必讀中有這樣一段敘述：“任何網站如果不想被百度收錄（即不被搜索到），應該及時向百度反映，或者在其網站頁面中根據拒絕蜘蛛協議（Robots Exclusion Protocol）加注拒絕收錄的標記，否則，百度將依照慣例視其為可收錄網站。”[3]基于上述表達可知，索引庫中的網址信息的包羅是由網絡機器人抓取的，而該抓取路徑則是由技術人員依照一定的基準預先設立，技術人員要依照公司的需求通過編寫算法選擇是否將各網站納入搜索引擎的索引庫，亦可以通過編程優先使支付高額廣告費的網頁高居搜索結果之首，即所謂的“競價排名”。搜索引擎平臺與廣告商利用算法進行黑箱操作，得出的歧視結果在一定程度上迷惑了用戶的選擇。除此之外，招聘網站為女性用戶投放幼兒教育、護理等崗位信息，而非程序員等社會默認的以男性為主的崗位信息，同樣能看出算法的編寫運行帶有個人偏見色彩。

第二，來源于數據的偏見會導致算法偏見發生。數據本身也存在實效的要求，如數據庫不能被實時監控，做出定期的更新，算法整合與計算后得出的結果就無法保證精準。譬如在個人征信系統中，包含個人信息的數據庫更新頻次不足，導致數據不準確，在算法對數據進行分析后對個人的信用評價將會與真實情況有出入，則會影響到個人貸款的成功率等等。如數據庫數據出現錯誤，或者一些敏感數據在被采集整合的過程中受到社會制度與文化價值所影響，算法所得出的結果依舊存在歧視。譬如美國有色人種的信貸利率要高于白人的情況時有發生，該結果并非一定是由于個人信貸能力評估的，，而是算法編寫者帶有主觀色彩，在這套評估體系下對借貸人的還款能力以其職業，收入等因素作為評價標準，忽略了這類數據背后存在的種族歧視等社會觀念的現狀[4]。

第三，來源于機器自主學習的偏見會導致算法偏見的發生。機器自主學習的本質頗具預測屬性，當算法面對大量數據時，會優先使用先前的訓練集對數據進行整合歸納，提取出該部分數據共同特征，后再對新數據對象按照先前的特征歸類到與其屬性最相似的類別里，若這些同類數據還有其他的特征，算法會自動預測相似數據也同樣擁有該特征。以Twitter公司研發的可供用戶進行聊天交流的機器人Tay為例，Tay與用戶先進行一段時間的語言互動，在對人類的引導性語言進行自主歸納整合再運算處理后，仿照人類的語言思維與人類的繼續對話。然不幸的是，Tay在與人類對話不到24小時即變身成滿嘴粗話的種族歧視者[5]。可見人類與機器的交互行為，會放大機器自主學習的預測能力，繼而放大本源于人類社會的偏見與歧視。

（三）算法黑箱引發司法救濟危機

算法經過抓取數據，計算處理數據后，步入產出結果階段。算法產出的結果在現今追求生產力智能化的時代，能夠高效率的轉變為生產力投入社會。在算法作為生產力投入社會應用后，上文所述的算法本身存在的缺陷轉變成為對社會經濟秩序與法律秩序的巨大威脅。法律界應對這類新生換代速度極快的科技風險明顯存在理論上的滯后與實務上的疲軟，在此筆者將從對我國相關案例與裁判文書的文本挖掘與分析對此部分進行闡述。本文選取的樣本為有關算法的案例共計4629篇，源自北大法寶網站，時間跨度由2012年至2020年，地域維度覆蓋全國27個省、自治區、直轄市。在這些樣本中，運用Python語言編寫程序（代碼運行步驟如圖 1所示），以“數據”、“個人信息”為關鍵詞同時進行全文遍歷搜索，提取出123個相關樣本。再列出每份樣本中兩個關鍵詞的詞頻數，從高到低排列，將同時命中兩個關鍵詞且其中任意一個命中次數在25次以上的樣本選中，得到10個符合本文研究目的的樣本。再以“數據”“人工智能”為新關鍵詞按照同樣標準重復上述操作，得到6個符合本文研究目的的樣本。以上樣本除去重復案例后共計取得7個符合本文研究目的民事案例樣本（如表1所示）。

依據表1，筆者認為，可以從以下幾個角度對算法結果轉化為服務階段的救濟危機予以探討。

1.算法運行中的黑箱行為難以被取證

表1中被定性為隱私權糾紛的兩個民事案件中，原告都在訴訟請求里要求被告方公開涉案算法的運行步驟，被告皆以涉及商業秘密為由拒絕公開，而這一行為得到了法院的支持。在本文開始提及的康斯威星州法院使用COMPAS算法評估犯罪風險作為量刑依據的案件中，該算法開發商也以算法屬于其商業秘密而拒絕公開。算法屬于技術類知識產權，本身具有秘密性、價值性、實用性及保密性。多數企業都將其開發的算法作為商業秘密以保護，這種保護在法律上亦是有依據的，但這種不可公開性在算法侵犯權利之時成為了開發者逃避責任的主要方式。首先，被侵犯權利方對算法的運行方式本就缺乏了解，在這一層面，被侵權方和算法開發者所掌握的信息并不對稱，在訴訟中的舉證等問題下地位自然不平等;當法院要求開發者解釋算法運行的邏輯時，即使開發者同意展示算法運行過程，由于算法的專業性，司法人員也并不能夠完全理解，仍舊依賴算法開發商自行解釋。算法本身是否有違法之處，運行過程中是否有黑箱操作等問題，成為法院審查過程中的障礙。在這當中，判決結果偏向算法開發商的幾率就會大大增加，給被侵權人尋求救濟造成了較大困難。

2.算法結果轉化為服務后的數據產品法律屬性存在異議

在表 1中，被定性為不正當競爭的案例共有5個，觀其裁判文書判決部分皆出現對于數據產品法律屬性的討論。因在我國現有法律框架下，數據產品既無法被納入知識產權范疇，無法派生其專屬的民事財產權利，故此5個案例中原告所收集、整合、分析的數據應當屬于用戶，還是屬于運營者，法院都未能給出正面回答。學界對此現象存在不同看法。一種觀點認為數據產品雖然源于用戶的個人信息，但經過網絡運營者加工整合后已成為新的產品，被賦予了商業性，抓取、加工的算法作為知識產權，為該數據附加了商業價值，因此不再與用戶本身有直接聯系，相應權利應當屬于網絡運營者。這種看法看似有理有據，實則將個人信息與數據產品割裂看待，否認了數據產品的本質來源，有悖于個人信息保護立法的精神。另一種觀點否認上述看法，認為數據產品來源于用戶的個人信息數據，運用算法單純整合分析不能破除其本質屬性，即數據產品仍舊保留用戶的個人信息，用戶有權保留對個人信息流向與運用的控制權。然而在司法實踐中，并未有典型判例以精準標準界定上述控制權究竟為何物。表 1被定性為不正當競爭的5個案例中，法院采取了折衷辦法，賦予了數據產品以競爭法性質的財產權益，確認數據產品為原告帶來的商業價值，且認定該商業價值是原告市場經營活動中的自身優勢，被告行為有違商業道德，對原告產生了實際損害，故可以適用反不正當競爭法予以規制。

二、算法黑箱治理的域外經驗：歐盟《通用數據保護條例》與歐洲《人工智能倫理與數據保護宣言》

（一）技術與法律治理角度：歐盟《通用數據保護條例》的基本規定

2018年5月25日，歐盟《通用數據保護條例》（以下簡稱“GDPR”）正式宣布生效，該條例以1995年《數據保護指令》為基礎，對于個人數據的使用做出了較為全面的規制，以技術手段與法律規制手段雙管齊下，為應對算法黑箱帶來的威脅提供了新穎且細膩的策略。其貢獻不僅在于明晰算法黑箱與數據之間的交互關系，相較一般的事后規制，更將眼光聚集于事前預防控制，值得各國引以為他山之石。

1.歐盟《通用數據保護條例》的預防治理手段

第一，分類個人敏感數據，并要求使用者對數據進行脫敏處理。GDPR將以下幾種個人信息作為禁止處理的個人敏感數據：（1）種族或民族出身;（2）政治觀點;（3）宗教或哲學信仰;（4）工會成員身份;（5）涉及健康、性生活或性取向的數據;（6）基因數據;（7）精細處理可識別特定個人的生物識別數據[6]。以上七類最大程度涵蓋了在公眾眼里屬于私人或個人的大多數信息內容，有效縮小了算法抓取用戶信息的層面，從數據源頭保障了個人信息安全，同時亦考慮到算法“GIGO”特征（“Garbage in， Garbage out”），從數據源頭最大程度減少算法偏差引發的結果歧視。但該規定同樣也考慮了醫療、法制等方面的特殊情況，允許該類信息在無損于信息安全的情況下予以被搜集。

第二，關于數據主體權利的擴大升級。首先，GDPR在其框架下建構了更多、更細致的數據主體權利，包括數據主體的知情權，個人數據備份請求權，更正信息權，被遺忘權與限制使用權，數據攜帶權以及反對應用權。以上權利的增加在數據主體對個人信息數據從使用到處理再到應用的控制鏈中完美融入，形成一個首尾兼顧的閉環以保護權利，令數據主體擺脫被動接受結果的局面，重新掌握對個人信息控制的主動權。其次，GDPR第4條第11款給出了數據主體同意其數據被處理的具體標準：“數據主體的同意是指數據主體依照其意志自由做出的、特定的、之情的、明確的指示。通過以聲明或清晰肯定的行為做出的該等知識，數據主體表明同意處理與其相關的個人數據。”第七條同時提到，數據的采納者或使用者必須能夠證明數據主體同意對其信息進行處理，推薦使用書面形式的許可，以便于舉證[6]。該條規定將數據主體的意思表示納入規制范圍，并規定了該意思表示的有效要件，即同意必須是基于真實自主且被用直觀形式明確清晰表示的。對于“知情同意”的細化更進一步保護了數據主體的自決權，為上述各項權利的行使保駕護航。

第三，對數據處理過程的多方面約束，即個人數據處理原則的細化。GDPR要求數據使用者對所使用的數據負責，向其提出了如下原則：合理合法的抓取用個人數據，且過程確保公正透明;除用于研究公共科學或歷史問題的目的外，抓取使用個人數據必須擁有合法目的且詳細說明，不得違反初始目的;抓取使用個人數據要在適當范圍和程度內進行，不得超出合理需要;及時跟進數據更新，以確保數據準確性;對于可識別數據主體身份的數據應當有一定合理期限;對個人數據必須做到安全使用，且負有保護數據不受毀損與滅失的義務[7]。

2.歐盟《通用數據保護條例》的事后規制手段

在算法侵犯個人數據信息時，必要的問責機制可以更好的提供救濟并預防此類威脅的再度發生。GDPR第30條規定了問責的具體方法，條款中明確要求數據控制者或處理者必須對其握的數據，在處理過程中的方式方法予以記錄。這一條款在數據處理的過程中起到了良好的監督作用，并在數據處理完畢后的時間里為可能出現的侵權糾紛提供了可被獲得的直接證據，擴大了該類糾紛的救濟路徑。如數據主體對控制方處理數據的方法提出質疑或者不滿，數據控制方有義務對該質疑進行解釋說明。該種解釋并不是需要透露算法的編寫細節或可以被稱作是商業秘密的內容，只需要做被大眾普遍認知所接受的簡單易懂的邏輯分析。大眾所要求的可理解的解釋，是對輸入數據與輸出結果之間存在何種因果聯系的好奇，而不是對于該算法本身如何編寫的好奇。此機制在一定程度上減輕了算法黑箱帶給公眾的恐懼感和不信任感，也在主觀上抑制了算法編寫者的個人偏向。

GDPR認為，針對數據安全的保護不應當僅從數據使用者角度進行，如果缺乏政府的干預與監管，手段依舊疲軟。因此，GDPR倡導每一個成員國應當建立至少一個特有的數據監督保護機構。該機構以政府作為依托，調試數據內部如處理者、控制者幾方之間的聯動，從外部對數據治理與規制起到良好的監督、引導作用。即保持數據內部各方自治的靈活性，亦在外部對其監控評估。GDPR還設定了對違規者最高罰款2000萬歐元或上一年度全球營業額的4%的懲罰標準，針對違規程度賦予政府監管機構自由裁量的權利，政府監管機構亦可以從市場角度激勵違規者，如對嚴重違規者處以市場準入資格的剝奪等商業化手段[8]。

綜上所述，筆者認為，歐盟GDPR條例對于個人數據的保護，是一個從數據來源管理到問責機制設立的閉環。其從數據源頭就開始進行具體的規制，在數據處理過程中予以監督引導，并針對可能出現的侵權問題做出有效可行約束，值得我國借鑒。

（二）倫理治理角度：歐洲《人工智能倫理與數據保護宣言》的基本規定

2018年10月23日，《人工智能倫理與數據保護宣言》（以下簡稱“宣言”）在第40屆數據保護與隱私專員國際大會上通過。該宣言立足于對人工智能利弊的充分了解，為應對人工智能在數據隱私方面存在的潛在威脅，以在人工智能發展中維護人權、保護人類尊嚴為核心價值[9]，提出以下原則。

1.尊重人權及公平原則與保護隱私原則

人工智能的設計，開發與使用應當具有目的的合理性，對人類發展的促進性，使用與開發目的一致性，在特定領域的使用要具有界限。現今不論計算機學科或是法律學科，似乎皆默認人工智能發展終有一日會覆蓋全人類社會。然而就上文所述cookie侵犯隱私權案，臉書允許小程序收集販賣用戶信息，美國以COMPAS評估再犯可能性程序協助審判，無一不為泛用人工智能技術敲警鐘。人工智能技術有其本身的缺陷，暫時無法做到在價值觀等主觀判斷能力上與人腦同步。因此，無論是在開發階段還是使用階段，人工智能技術都應當以維護人權為核心價值，以人類理性、道德良知與社會正義為內在精神，保護隱私等個人數據，在人工智能技術的發展中融合法治倫理以保護人類的尊嚴。

2.提高人工智能系統的透明度和可理解程度

需要對人工智能的潛在影響保持持續的關注、警惕以及問責[9]。不論是單一依靠政府管理，還是依靠人工智能技術開發者與使用者自我規制，都無法實現人工智能的最佳優化。在系統透明度與可理解程度層面，不僅應當有來自于公權力的強制披露，還應當從使用人群的角度出發，鼓勵對人工智能技術教育、認知等方面投資，以保證社會對人工智能的理解達到與其發展相適應水平。政府作為公權力一方，應當聯動人工智能行業自治組織，對人工智能系統本身及其績效進行審核與評估，在發生技術侵權糾紛時建立多方問責機制，試行利益鏈各方連帶責任制度，為各方參與者提供可信賴的維權制度。

3.擴大個人授權原則與減少偏見與歧視原則

擴大個人授權原則的首要要求即為保障公眾的知情權與選擇權。在人工智能技術的應用中，公眾數據采集作為第一步，存在侵犯用戶網絡隱私權的可能性。在上文中我國學者趙華明認為網絡隱私權應當是一種人格權，人格權是具有排他性的支配權。技術應用者不能在沒有本人授權時擅自對包含其隱私的數據進行收集、二次加工甚至販售。如若不對數據的使用以授權限制，性別人種等各類敏感數據被輕易獲取，而人工智能技術基于這類未脫敏數據得出的分析結論，有極大可能存在偏見、誤差甚至于歧視。因此，應當賦予用戶以自主授權的權利，使人工智能技術應當在數據采集時即被約束限制，以正義的數據尊重和保護人權。

綜上所述，筆者認為，宣言注意到了人工智能對人類基本權利的行使與自由的威脅，提出了對該種威脅更具針對性的一系列措施，在數據保護方面從人權與社會角度入手，強調技術倫理觀念的灌輸，以倫理約束技術，為人工智能的法治化管理開辟了更廣泛，更具實踐性的路徑，亦值得我國借鑒。

三、我國應對算法黑箱法律挑戰的對策及建議

（一）從技術規范角度規制算法黑箱侵權

第一，數據庫管理過程中對用戶權限應當嚴格控制，數據庫囊括的數據應當被更加精細的分級。數據庫管理者對用戶的權限有功能權限和數據權限兩種，功能權限在此不表，數據權限應當被嚴格控制。對于屬于個人敏感信息的數據，對其訪問數據權限應當提高，如只能由政府做人口普查等數據統計，或是醫療、司法部門工作需要之時，才可以對此類敏感數據有權限訪問并操作。普通的用戶則不能對該類數據進行訪問或抓取。歐盟《通用數據保護條例》中對宗教、膚色等作為個人敏感數據，我國對數據庫的數據分層也應當達到如此精準劃分程度。籠統看來，應當將數據在相關業務規則中劃分為普通用戶有權限訪問操作與非特定用戶不可訪問操作兩種，在非特定用戶不可訪問操作范圍內，應當涵蓋個人隱私、商業秘密等私密數據。如宗教信仰，患病狀況，受行政處罰情況等各類可以直接識別或通過其他手段即可識別特定人員身份的數據，應當予以特別保護。

第二，以算法規制算法。算法在被設計之初，應當在代碼中加入數據保護步驟，即歐盟《通用數據保護條例》中提及的“經設計的數據保護”。由政府監管機構提出該算法設計標準，算法設計開發者在設計中應當使用算法透明度提高工具（Transparency Enhancing Tools）。比如在抓取數據環節就設以標準過濾數據，以做到數據脫敏;在算法運行環節對偏向結果予以警報甚至于自我糾正;如以政府為主導，開發政府大數據資源聚合型網絡系統，在社會公共服務中以政府監管機構為主體使用數據，以公權力控制數據以對抗私權利濫用數據。

第三，算法投入市場和運行需要有專門的評估標準與管理模式。 在任何工程中，對安全未雨綢繆的評估都是不可或缺的部分，科學技術工程也不例外。政府作為監管者牽頭，將算法安全使用的標準量化，根據現實提出一套覆蓋面較廣的評估標準更加容易達到管理算法市場的目的。這種對算法安全標準的量化必須是動態的 ，是講究實效主義的，即可以跟隨大數據時代的飛速發展而自我完善。針對數據安全角度，參照歐盟《通用數據條例》給出的標準為數據脫敏，未脫敏的數據不得在脫離政府監管流向市場;要求數據庫的實時更新在科學合理的時間內完成，政府監管者設定合理時間范圍，要求數據使用者與控制者在其實用范圍內自我管理，儲存使用數據在必要時間內完成，對數據進行定時刪除清理;針對算法運行角度，建立以政府為依托的算法監控評估機構，建立算法大類登記入庫制度，使算法編寫者對其所編程序負責;要求數據處理者從獲取數據開始就對數據進行電子備案，以防糾紛發生后無證可取。

第四，在市場經濟下對算法商業應用進行合理的技術監管。 以搜索引擎為例，其開發、投入使用與后期維護都需要在市場環境下進行，用戶的使用率是其收入來源的基礎，但索引庫的網址儲備和根據搜索關鍵詞投放的廣告才是其發展的主要經濟來源。搜索引擎作為算法中最直白的趨利存在，在過分的注重商業利潤時將會對用戶造成不良影響，例如百度搜索引擎的競價排名行為。對此，監管部門規定搜索頁面的廣告投放數量比例不得超出該頁面搜索結果的30%，但此規定效用似乎并不能達到預期——筆者以“考研”為關鍵詞在百度進行搜索，第一頁顯示的15個搜索結果中，廣告網頁就有5個，且處于搜索頁面的頂端。可見，我國相關監管部門還需擴大監管力度，有固定的監管標準和定期的抽查，開放民眾投訴渠道，提高監管能效。然而，該種監管不得超出必要的限度，不合理的干涉將會導致信息來源范圍的銳減，對民眾獲取有效信息的途徑和數量產生負面作用。

（二）從法律規范角度規制算法黑箱侵權

第一，我國在法律規制上，可以從算法可解釋性方面提高算法透明度。我國可以在立法上要求算法開發者與使用者對使用的算法作解釋說明的義務，這種義務應當有雙層含義：第一，事前的解釋。算法開發者與使用者在使用用戶數據前的協議應當被顯著置放在使用頁面，當出現糾紛時，應當以締結合同意思自治為原則，而不是僅以用戶的點擊同意實踐行為作為事實以忽略用戶真實意思表達。第二，事后的解釋。我國相關立法可以借鑒密碼學中“零知識證明”概念，要求算法開發者與使用者在不透漏算法作為商業秘密而被保護的部分的情況下，對算法自身輸入的數據與輸出的結果之間的因果關系做出可以被普通大眾所明晰的解釋，將算法運行的黑箱予以透明化、可視化，增強大眾的信任感和安全感，保護信息的對稱性，防止算法編寫者人工干預算法的運行[10]。對于難以解釋甚至無法做到透明的算法，且并沒有能夠發揮同等作用的替代品存在時，立法上應當持以謹慎態度審視該類算法的使用。如司法上使用人工智能算法對犯罪嫌疑人再犯罪可能性評估，該產品需要使用的個人敏感數據過多，且評估結果對未來有重要影響，此時對于算法運行的解釋就存在泄漏被評估者個人信息的風險。此類算法系統的使用應當被嚴格控制在司法機關手中，不應當將該系統或者與該系統評估手段相同的系統應用在社區，用人單位等場所。

第二，我國司法實踐中對個人信息的定義解讀含混。我國現有法律雖然對個人信息的保護做出了規定，亦要求任何主體都不得非法使用，但并未將除可識別特定個體的個人信息以外的非個人信息的保護做出規定。我國《網絡安全法》中將用戶信息與個人信息做了保護層面上的區分，對用戶信息僅要求使用者使用時負有說明義務，對個人信息則是約束使用者的使用目的、使用范圍與使用場所。對于非個人信息范圍內的用戶信息，在我國司法糾紛中多為關乎用戶自身的私密痕跡信息。這類信息的保護可謂“兩不沾”：既不能以個人信息保護，也不能以隱私保護。筆者認為，何種數據信息可以作為一般信息被抓取，何種信息作為屬于私人，非經自愿提供不得擅自搜集，在該定性尚存含混解讀時，應當要求司法機關將數據信息的定性放入案件實際情況中看待，以案件中數據信息的原貌結合其糾紛場景，再對數據信息做法律定義，而非割裂二者聯系單獨對待。則容易在司法實踐中造成分歧和不公。

第三，政府監管與市場經濟激勵雙管齊下，建立合理的問責機制與懲罰制度。僅依靠政府為主導建立各種監管機構推行各種防治措施，在面對日新月異層出不窮的算法時，治理效果日漸衰退，算法黑箱危機頻發。因算法商業性的一面日益明顯，對算法黑箱的防治須得放入社會市場經濟中，然而僅依靠市場的自我調節與激勵，更容易因人類趨利性而導致數據控制者惡意競爭，擾亂市場經濟秩序，形成數據失控的局面。由此可知治理算法黑箱侵權，政府監管與市場經濟激勵缺一不可。政府首要須對數據市場進行實時監控，控制數據市場的占有份額，以防止某一數據控制者獨大引發不正當競爭與壟斷。其次，在數據控制者違反行業道德或相關法律規定時，除經濟處罰外，還應當從時間上或經營范圍限制其進入市場，甚至剝奪其進入市場的資格。最后，針對不符合算法評估標準的數據控制者，政府應當有嚴格的懲罰制度和相對彈性化的自由裁量權，如歐盟《通用數據保護條例》中設定最高罰款數額與以營業額作為罰款參照標準，即不能過于嚴苛致使數據市場頹靡，也不能放任數據被不正義、不合法的使用。

（三）從倫理角度治理算法編寫與應用環境

第一，參照人工智能開發六項原則中的福祉原則與安全原則，要求算法開發者應使算法符合人類社會的基本道德倫理要求，以公共利益與人類發展為目標，為社會創造福祉。保證算法的可追溯性與透明性，使用戶對其數據被挖掘使用有權利要求使用人員做出合理使用的保證，在發現數據被不合理使用后，有權利提出質疑，使用者有義務對其質疑做出清晰明確的回應。建議保險行業針對算法侵權損害設立新型險種。算法開發商對其算法運行所致后果投保，用以應對在所開發的算法導致侵權損害的情況下，能夠通過保險公司對被侵權人的損失進行部分基本賠償，以減輕開發商本身的賠償壓力，亦使被侵權人擁有較為可靠的求償渠道。這對算法開發商本身而言，既是一種合理規避風險的路徑，又是一個時刻提醒開發商不可突破法律與道德、技術倫理底線的“緊箍咒”。

第二，參照人工智能三項原則中的目的原則與技能原則，在算法設計開發之初，考慮算法開發人員與數據擁有人的個人合理期望，確保算法的使用與個人信息的抓取處理不違背其本身所期望的合理目的。算法開發人員應當在其算法編寫之時就明確使用目的，算法使用者應當在使用之前被評估其使用目的是否與算法編寫人員目的一致且合法。國家在教育與培訓方面投資，以提高社會對人工智能產物的認知度。各高等學校可多注重學科交叉教育，開設關于人工智能與各專業相結合的理論或實踐課程;相關政府機構或企業、倫理委員會等，可聘請專業人才對成員做相關培訓;針對可以用被大眾理解的語言解釋人工智能的私人或者高校科研機構進行投資，以提高算法的透明度、可理解度，鼓勵公眾參與監督，以應對人工智能的高速發展，使社會認知與該發展程度相匹配。

第三，政府聯合企業推動建立有關因算法侵權損害賠償專項基金。我國立法中并沒有與算法侵權損害賠償有關的獨有賠償模式，現如今對于涌現的此類案件，各地法官多用普通侵權責任分配原則解決糾紛。但由于算法侵權本身難以認定，其侵權賠償更無明確標準，各地作法難以統籌監督，對被侵權人的損害賠償也難以做到公平公正。對于此問題，筆者認為可以參考我國船舶油污損害賠償機制，即建立專項賠償基金。由政府發起，投入相應資金作為基金的一部分，再由算法開發企業繳納部分費用，以對其開發的算法如導致侵權損害賠償作擔保。在算法侵權發生后，被侵權人就其損害與算法有因果關系做出證明后，即可向算法侵權賠償基金會提出申請，先予支付部分基本賠償款，緩解算法侵權求償難的問題。建立專項基金對于算法開發企業亦是縮小風險的優選之舉，在發生群體算法侵權賠償事件時，算法開發企業能夠因基金會的賠償而減少部分賠償金的支出，從而對算法行業的良性發展保駕護航。

第四，推進我國算法倫理委員會的建設，規范行業自治。我國可仿照日本設立算法倫理委員會，作為行業自律的監督者與保護者，分擔政府監督的重擔。賦予倫理委員會以部分自我治理自我調節的空間，可設定獎懲機制，以調動數據控制者積極參與自治，實現行業聯動發展。在產生糾紛時可以首先由算法倫理委員會出面協調，無法合理合法解決糾紛時，再付諸法律，以減輕司法機關辦案壓力。但不可以算法倫理委員會的協調作為訴訟的必經前置程序，應當尊重當事人意思自治，防止當事人得不到有效法律救濟。

結? 語

大數據時代的來臨帶來的新成果便捷了人類生活，但與之而來的社會各方面的新問題、新盲區也不容忽視。科技發展是無罪的、中立的，但在其之上賦予的價值則需要引導和規制，而這種引導與規制，正是法律所要起到的作用;算法黑箱的存在是無可避免的，但這個黑匣子對信息的蒙蔽程度是可以通過人為改變的，而這種改變，正是法律通過不斷的發現盲區、完善自我才能夠促進的。2017年，我國政府工作報告首次將人工智能收納其中，黨的十九大報告中明確指出：“加快建設制造強國，加快發展先進制造業，推動互聯網、大數據、人工智能和實體經濟深度融合，在中高端消費、創新引領、綠色低碳、共享經濟、現代供應鏈、人力資本服務等領域培育新增長點、形成新動能”。作為勢頭最勁的發展中國家，我國對于人工智能發展及其影響的重視在逐步增加。只有跟隨時代發展的腳步，對新事物給與足夠的重視與關注，善于發現遺漏和盲區，不懼于迎接挑戰，才能為科學技術的發展多做助力，提高民眾對接受新事物的安全感和信任感。

參考文獻：

[1] 劉友華.算法偏見及其規制路徑研究[J].法學雜志，2019，40（6）：55-66.

[2] Goldman Eric.Search Engine Bias and the Demise of Search Engine Utopianism [M].Yale Journal of Law & Technology，2005：42-47.

[3] 趙鵬.搜索引擎對信息傳播的影響及其法律規制[J].北京：比較法研究Journal of Comparative Law，2018（4）：188-200.

[4] 姜野，李擁軍.破解算法黑箱：算法解釋權的功能證成與適用路徑——以社會信用體系建設為場景[J].福建師范大學學報（哲學社會科學版），2019（4）：84-172.

[5] 張玉宏，秦志光，肖樂.大數據算法的歧視本質[J].自然辯證法研究，2017，33（5）：81-86.

[6] 王融.《歐盟數據保護通用條例》詳解[J].大數據期刊，2016，2（4）：93-101.

[7] 王文華，李東方.論司法實務對數據保護立法的推進——以歐盟《通用數據保護條例（GDPR）》為例[J].中國應用法學，2020（3）：132-144.

[8] 程瑩.元規制模式下的數據保護與算法規制——以歐盟《通用數據保護條例》為研究樣本[J].法律科學（西北政法大學學報），2019，37（4）：48-55.

[9] 歐洲數據保護專員，意大利個人數據保護專員，孔祥盛，等.人工智能倫理與數據保護宣言[J].北京 ：辦公自動化，2019（1）：12-15.

[10] 張凌寒.商業自動化決策的算法解釋權研究[J].法律科學（西北政法大學學報），2018，36（3）：65-74.

The Governance of the Algorithm Black Box in the Era of Artificial Intelligence

Wu Jiaojun， Guo Wan'er

（School of Humanity and Law， Hefei University of Technology， Hefei 230009， China）

Abstract：As a means for human beings to capture， process and output data by machines， the results of the algorithm are affected by the subjective deviation of the writer， technical deviation and so on. Because of the highly professional nature of the algorithm， users can not know the details about the capturing， processing and application of their own information. This opacity obviously affects the rights and interests of users and social order. It also brings great challenges to the legal mechanism of our country. According to the operation mode of the algorithm， this paper analyzes the triple crisis of data security， algorithm bias and judicial relief brought by the algorithm black box from three aspects： data collection， algorithm operation and application. Based on the governance provisions of the algorithm black box in the EU General Data Protection Regulation and the European Declaration on Ethics and Data Protection of Artificial Intelligence， and in view of the above triple crisis， this paper discusses the governance of the algorithm black box from the perspectives of technology， law and ethic to achieve the legal and optimal coupling of the legalization management of the algorithm black box.

Key words： algorithm black box; algorithm bias; personal information; artificial intelligence; technical ethics