第四次工業革命與算法治理的新挑戰

賈開 薛瀾

哈佛大學法學院教授勞倫斯·萊辛格在1999年和2006年連續出版兩本以“代碼（Code）”為名的專著，并提出了“代碼即法律（Code is Law）”的著名論斷。萊辛格的核心觀點是，“代碼”構成了網絡空間的新“規則”，但不同于物理空間，此時的規則制定權卻從立法者手中轉移到了商業公司。萊辛格擔憂，商業公司的逐利性可能影響“代碼”作為網絡空間規則的公共性，并因此要求政府約束商業公司行為，對代碼的設計、部署、應用過程及結果施加影響。

萊辛格的主張可被視為21世紀初“算法治理”的典型代表，但從隨后的歷史發展進程來看，此種主張并未成為主流。彼時各國為促進互聯網新興產業的發展，主要采取了自由寬松的規制態度，并沒有過多干涉技術創新和應用。相比之下，“算法治理”在當前卻獲得了包括政府、商業公司、社會公眾在內的各類主體的普遍重視，針對算法歧視、算法“黑箱”、算法責任、算法“繭房”等諸多問題的治理規則也在各個國家得到了不同程度的落實。算法治理不再局限于學者提出的理念，而正在轉變為具體的法律政策或倫理原則。

在這短短二十余年里，人們對于“算法治理”態度的轉變，一方面可被理解為技術發展與應用深化的自然結果，是互聯網由早期弱小產業逐漸成長為網絡空間龐大生態后人類社會的必然應對。另一方面，第四次工業革命推動下的算法應用，真正體現了其作為影響人類生產、生活重要“規則”的變革性，從而使得算法治理具有了不同于歷史上任何一次技術革命的新特點。

第四次工業革命推動算法成為人類社會重要“規則”

歷史上的三次工業革命都是以標志性技術突破為代表，并被視為推動人類社會組織、經濟、政治形態變革的重要力量。例如瑞士日內瓦高級國際關系及發展研究院教授鮑德溫即認為：蒸汽機革命降低了產品流通成本，從而促進了貨物貿易的全球化；信息通信技術革命降低了知識流通的成本，從而促進了生產網絡的全球化。相比于前三次工業革命，第四次工業革命的核心特征并不在于單個技術的突破，而在于人工智能、生物技術、可再生能源、量子技術、3D打印等一系列技術的跨界融合，并在此過程中迭代演化、迅速擴散并引發連鎖反應。

催生第四次工業革命到來的重要原因，可被歸結為人類社會數字化轉型進程的深入，使得“數據驅動”開始成為新范式，并在不同領域得到應用。藥物研發、可再生能源管理、智能制造的生產調度，都是在不同領域、針對不同數據進行收集、存儲、分析的人類活動。伴隨此過程，算法作為挖掘數據價值的基本方法，其重要性也與日俱增。但第四次工業革命背景下，算法的變革性影響還不止于此。

英國著名學者邁克爾·波蘭尼曾指出，“人類知道的，遠比其能表達的更多（Humans Know More than He Can Speak）”。傳統信息技術下，算法可被視為人類知識的表達，只有能夠清楚界定的需求，才能通過算法以數字化的形式實現出來。第四次工業革命背景下，人工智能技術突破了波蘭尼論斷的限制，算法實現過程不再依賴人類知識的表達。基于大量數據或案例，算法可以通過自我學習自動抽取出特定規則。由此，第四次工業革命進一步擴大了算法的應用范圍，加速了人類社會數字化轉型的進程，并凸顯了算法作為人類社會數字環境新規則的重要性。

以人臉識別算法為例。波蘭尼論斷揭示的基本現實是，人們往往能很輕易地識別朋友的臉龐，但并不能解釋該臉龐具有何種特征以致于我們一眼便能“識別”。正因為這種表達能力的限制，長久以來，算法對圖像的識別正確率遠遠低于人類，這也使得安防、認證等諸多場景的數字化轉型進程停滯不前。但人工智能技術的發展，使得算法可以基于大量圖片進行自我學習，并抽取出相關特征，從而打破了人類表達能力的限制，實現了與人類相當甚至更精準的識別效果。在此基礎上，機場車站對于“黑名單”人員的篩查、金融服務過程中對于身份的認證，這些傳統上均是由人來完成的工作，當前都可通過人臉識別算法來實現，其在加速相關場景數字化轉型進程的同時，也自然成為影響人類生產、生活活動的重要規則。

這一變革固然將帶來諸多益處，但圍繞規則合法性、合理性、正當性、平等性的爭論，也同時意味著變革風險的必然存在——而這也正是“算法治理”所要關注的要點。

算法應用的三種風險：歧視性、責任性、誤用及濫用

算法治理要回應的，是算法變革所帶來的治理風險。“算法作為規則”的獨特性決定了第四次工業革命背景下，算法所引發治理風險的挑戰性。具體而言，相關風險可被概括為三個方面。

歧視性風險

讓我們先從一個實例說起。亞馬遜公司曾經在2014年開發了一套“算法篩選系統”來幫助亞馬遜在招聘時篩選簡歷。開發小組開發出了500個模型，同時教算法識別50000個曾經在簡歷中出現的術語，以讓算法學習在不同能力間分配權重。但是久而久之，開發團隊發現算法對男性應聘者有著明顯的偏好，當算法識別出“女性”相關詞匯的時候，便會給簡歷相對較低的分數。最終亞馬遜公司停止了該算法的開發和使用。但是為什么看似中立的算法會對女性產生歧視呢？原來，亞馬遜公司的整體員工構成以男性為主，亞馬遜用來訓練算法的“老師（即簡歷數據）”本身就帶有很強的性別偏差，而年幼無知的算法則只能“邯鄲學步”，從以往的簡歷數據學習，自然而然就學到了這個偏差。這個例子就是一個典型的算法歧視案例。

從概念上講，算法歧視的基本內涵是指：當將算法應用于決策領域時，基于群體身份特征，算法將形成具有系統性偏差的決策結果。典型案例比如在犯罪風險評估算法中，黑人的犯罪風險會系統性地高于白人；在招聘機會推薦算法中，男性獲得高薪資工作的推薦幾率顯著高于女性等。在貸款申請、廣告推薦、公共服務等各個領域，自動化算法決策結果都可能存在對特定群體的系統性偏差。

造成算法歧視性風險的原因，固然有技術缺陷或人為主觀意圖的影響，但更復雜的因素還在于算法與其應用環境相互影響的結果。以搜索引擎的排序算法為例，2013年針對谷歌的一項研究表明，搜索黑人名字時，排在前面的搜索結果會更多地與犯罪記錄聯系在一起，而搜索白人名字時則不會出現這種情況（由于歷史文化傳統的不同，相當數量的英文名字事實上體現了種族特征。例如Latanya更多對應黑人名字，而Kristen則更多對應白人名字）。造成排序算法這種系統性偏差的原因，并非源于谷歌程序員主觀性地加入了種族因素，而是因為排序算法的原則是將用戶有更大幾率點擊的內容排在前面；但用戶在搜索黑人名字時，更想了解其是否與犯罪記錄相關，從而導致排序算法在持久的用戶結果反饋過程中，形成了上述偏差。該研究揭示了，算法結果的偏差事實上反映了人類社會本身的內在分化，算法在應用于人類社會環境，并不斷接受環境反饋而動態調整的過程中，又進一步體現、放大了人類社會的既有分化。

責任性風險

算法責任是又一個被頻繁提及的治理風險，其主要內涵是指：當算法決策或應用結果損害特定主體權利時，由于歸責原則不清晰而導致利益救濟不到位的風險問題。技術治理傳統視角下，技術或產品僅被視為工具，其背后的設計者或應用者才是承擔民事責任的主體。但第四次工業革命背景下，算法責任性風險的新挑戰主要體現在兩個方面。

一方面，人工智能技術推動下，算法具備了一定程度的主體性。人工智能算法的變革意義在于突破了人類表達能力的限制，基于大量數據或案例的自我學習過程，事實上意味著算法應用結果與人類行為之間，并不一定存在必然且直接的因果聯系，由此導致傳統歸責原則失效。例如，如果人工智能算法“生產”的文學或音樂作品侵犯了他人著作權或版權，我們并不能完全歸咎于該算法的設計者或應用者，因為他們并沒有直接決定算法的產出，甚至不能預期算法究竟會形成何種產出。

另一方面，算法責任的新挑戰還在于算法的“黑箱性”。也就是說，我們對算法形成特定結果的內在機制和因果聯系看不清楚、說不明白。這種情況將影響責任溯源的過程，以及相關責任的界定。雖然我們不能完全排除商業平臺刻意隱瞞算法運行原理的情況，但導致算法“黑箱性”的根本原因，還在于算法基于大量案例的自我學習過程本身的不可解釋性。例如，算法雖然能夠在短時間內閱讀所有《人民日報》文章，并判斷哪一篇文章可能在社交媒體上得到最多人的分享，但其卻不能給出人們愿意分享該文章的具體理由；類似的，算法能夠為用戶推薦最匹配的資訊內容，但卻不能給出用戶喜歡該資訊內容的具體原因。在上述例子中，如果算法應用結果給用戶造成權益損失時，因為難以確定導致損失的原因，傳統歸責體系也就難以確定應該由誰、用何種方式對用戶給予合理的賠償。

誤用及濫用性風險

算法雖然能夠以更高效率處理大量數據，但其仍然存在諸多局限性。如果忽略這些局限性，將算法應用在不當環境之中，便可能引發誤用及濫用的風險，這又具體體現在三個方面。

首先，算法往往是“死板”的：雖然算法可以基于大量數據或案例實現自我學習，但學習的目標卻需要具體而明確地人為設定，但現實生活的復雜性并不一定總是能滿足這一要求。其次，算法往往是“短視”的：算法往往要求實時反饋結果以評估決策效果，這也導致其能更好滿足“短期目標”，但在應對“長期目標”方面可能力不從心。最后，算法往往是“僵化”的：基于大量數據或案例的機器學習算法，在客觀上要求輸入大數據集與其應用環境具有概率上的分布一致性，但動態變化的應用環境往往使得基于特定數據集的算法決策很快過時，并因而難以用于指導當前及未來的預測或分析。

以資訊推薦算法為例。首先，資訊推薦算法的目的在于為用戶提供最匹配且有質量的內容，但算法并不理解何為“匹配”或“有質量”，因而設計者不得不將這一模糊目標轉化為“用戶點擊率最高”這一具體的替代目標。但很明顯地，替代目標與真實目標并不完全一致，“點擊率最高”并不意味著“有質量”，算法的“死板”可能帶來額外風險。其次，“用戶點擊率”更多體現為當前的“短期目標”，但過多重視點擊率卻可能導致低俗內容盛行，從而不利于平臺可持續發展這一長期目標，但算法卻無法將后者納入考慮范圍，由此帶來“短視”風險。最后，資訊推薦算法往往需要根據用戶歷史閱讀數據來預測用戶偏好，但其卻往往難以捕捉用戶所在環境的具體需求（例如在課堂或醫院等特殊場合），進而可能推送不合時宜內容，并因此體現其“僵化”風險。

基于上述風險的梳理不難看出，不同于傳統意義上的技術治理，第四次工業革命背景下的算法治理，并不局限于技術或產品本身，而更多體現了算法與人類社會交互影響而形成的新挑戰。正因為此，算法治理不僅要求算法設計者關注功能的完備性和魯棒性，更要求算法應用者和用戶深度參與治理進程，為算法的動態演化及其影響結果提供實時反饋，而這也相應要求治理理念、體系、機制的革新。

算法治理理念、體系、機制的革新

第四次工業革命背景下，算法治理的新挑戰在于，算法的生產與應用過程已經深度嵌入人類社會之中，其作為規則的普遍性、可執行性與動態性，都使得我們需要更新治理理念，并創新治理體系和治理機制。

治理理念的回歸與豐富：以人為本

在傳統的技術治理視野下，“以人為本”更多是指技術創新應服務于人類社會發展，而不能“作惡”。但對于第四次工業革命背景下的算法治理而言，“以人為本”的內涵還不僅如此，其同時要求技術研發與應用的價值應體現為“賦能于人”，而非“人的替代”。算法治理理念需要回歸并豐富“以人為本”的基本內涵，有兩方面原因。

第一，在第四次工業革命背景下，算法已經開始作為獨立的行為主體參與人類生產、生活，并以“規則”的形式體現其對于人類行為的深度影響。由此引發的重要問題在于，原先由“人”來承擔的行為責任能否、且如何向“機器”轉移。在沒有對此問題作出很好回答之前，將重要規則的決策權歸還于“人”，仍然可能是短期內我們的次優選擇。例如，資訊推送算法背后并沒有一個控制者，其能夠決定每個人所能看到的資訊內容，是算法在分析每個用戶的偏好后，自主決策形成了推薦內容，基于此所創造的信息環境將最終影響用戶的觀點與行為；但算法可能推送與法律、倫理相悖內容的風險，使得我們仍然不能任由算法來決定所有內容，人為的干涉與影響不僅是重要的，也是必不可少的。

第二，算法所體現出的自動化、智能化特征，可能誘導技術研發者和應用者，在提高效率、降低成本的引導下，更多追求控制乃至替代人類行為的自主性，進而忽略了算法輔助并賦能于人的可能性。舉例而言，“犯罪風險評估”司法機制的設計初衷，是為了更好促進并創造個體向善的動機與環境，而非片面減少人為判斷的主觀性以提升決策效率。特別的，如果我們意識到算法還存在“死板”、“短視”、“僵化”的弱點，在忽略人類社會復雜性的前提下，片面追求效率導向，以在不同場景下“替代”人類決策的技術研發和應用思路，將可能造成更大風險。

治理體系和治理機制的延伸與重構

技術治理的傳統體系是典型的“命令-控制”結構，針對確定的治理風險（例如汽車事故），政府作為監管者預先制定標準（例如汽車產品質量標準）與規范（例如駕駛者的行為規范），并要求相關主體遵照執行。但第四次工業革命背景下，算法更多作為“規則”，而非“產品”，被應用于人類社會并產生影響，由此也使得算法治理風險體現出多元化、動態性、不確定等特征。在搜索引擎排序算法的例子中，程序員以“最大化用戶點擊率”作為算法設計原則，本身并無太大爭議，但當應用于具體環境并體現出特定社會心理傾向之后，歧視性風險最終產生。面對這種情況，監管者既難以提前預設規制標準（因風險難以提前預知），也難以針對明確的被監管者制定行為規范（因并非特定主體的特定行為直接導致風險），傳統的“命令-控制”結構難以為繼。因此，治理體系的延伸成為必然選擇。技術研發者、設計制造者、部署應用者乃至用戶都應當加入治理體系，與政府監管部門共同構成推進算法治理的利益相關方。在遵循各自行為規范的基礎上，利益相關方還應建立風險共享與應對機制，以及時發現治理風險，約束相關方修正技術發展和應用路徑。

另一方面，將利益相關方納入治理體系，并不意味著必然就會帶來良好的治理績效。算法治理的新挑戰要求利益相關方共同探索新的、有效的治理機制，以發揮不同主體優勢、整合治理資源。就此而言，以“敏捷治理”引領算法治理機制創新，可能是值得探索的希望路徑之一。“敏捷治理”是世界經濟論壇2018年提出的新概念，其意味著“一套具有柔韌性、流動性、靈活性或適應性的行動或方法，是一種自適應且具有包容性和可持續的決策過程”。敏捷治理在廣泛納入利益相關者的同時，要求以更快速度識別變化中的風險，監管者與被監管者的清晰邊界被打破，進而共同探索應對風險的漸進式策略。對于算法治理而言，其嵌入社會的規則屬性恰好需要“敏捷治理”式的機制創新：一方面，算法本身的動態變化，以及應用過程中才浮現的治理風險，在客觀上要求快速的治理應對；另一方面，算法治理風險類型與程度的不確定，反過來要求利益相關方在探索中表達治理訴求、形成治理方案。

結語

歷次技術革命都會帶來新的治理需求并引發治理變革，但不同于過往技術革命，第四次工業革命背景下，算法的普及與應用引致的治理挑戰，并不局限于技術本身，甚至也不局限于因技術發展而形成的新興業態，而是體現為算法在利益相關方的部署下，與特定應用環境相互影響的產物。導致風險產生的原因，既有算法本身的技術特性，也有人類環境本身的復雜因素。面對新挑戰，我們需要回歸到“以人為本”的價值導向，在綜合考慮技術、應用者、應用環境三方面治理結構的基礎上，踐行敏捷治理的原則和機制。