人工智能設計的風險及其規避

閆坤如

[摘要]隨著人工智能的發展，其所引發的風險與責任問題倍受學界關注。人工智能帶來的風險與人工智能設計有較大關聯。從理論上來講，人工智能設計應思考人工智能是否具有道德行動者地位和“道德嵌入”的合理性等問題。人工智能設計目的與實際結果的不相符，人工智能設計目的與使用者需求不相符，人工智能設計技術的不完備等都會帶來風險。為解決人工智能設計的風險問題，其設計的目的應彰顯“善”的理念，設計過程中應關注正義與公平，強調設計者的責任意識。

[關鍵詞]人工智能，設計風險，道德嵌入，責任意識

[中圖分類號]N031 [文獻標識碼]A [文章編號]1004-4175（2018）05-0022-05

人工智能在21世紀不斷取得理論和實踐突破，成為最有前景的新興技術之一。但是一些智能機器在實際應用過程中卻造成了意想不到的后果，帶來了許多風險。由于技術的雙面性，人工智能技術的不確定性，人工智能的應用可能違背人工智能設計者的初衷，這些原因都可能導致人工智能風險。例如，無人駕駛汽車是為了解放雙手，卻可能潛藏著安全問題；云計算為了數據挖掘統計方便，卻存在隱私泄露的風險，等等。人工智能可能帶來的這些風險與設計主體意愿、設計目的與設計結果的偏離等有密切關系。

一、人工智能設計的理論基礎

人工智能設計與制造的結果是產生具有自我推理能力的智能機器，對其風險的研究應該基于對人工智能設計理論基礎的挖掘，我們主要從人工智能是否是道德行動者以及人工智能“道德嵌人”的合理性進行分析。

（一）對人工智能是否具有道德行動者地位的思考。隨著智能機器在技術方面不斷取得新的突破，智能機器的深度學習、面部表情、語音識別、大數據和云計算處理速度等能力的不斷加強和運用，智能機器在社交、知覺、創造力、自然語言理解等能力上的不斷突破，可以說機器越來越像人。那么，智能機器是否像人類一樣具有道德主體地位呢？人工智能的功能由人工智能的算法決定，智能機器通過算法對環境中的數據進行分析，從而作出相應的決策并表現出同樣的行為。“可以看出這種方法并未假設計算機和大腦在‘硬件上的相似會超出這樣一個范圍，即認為兩者都是通用的符號處理裝置，而且能為計算機變出程序進行一些基本的信息處理，使他們的功能與大腦十分相似。”[1]9人工智能不僅僅是倫理規則的被動中轉者，還在現有道德生態中與其他實施者互動。如何權衡機器人及其生物的生存地位等倫理問題將成為規范與約束人工智能設計的一個重要方面。

人與機器有本質的區別，人具有理解能力，而機器不具有理解能力。人具有意向性，機器不具有意向性（intentionality）。“意向性被看作是區分個體的人與機器的根本特征之一：機器和人可以做同樣的事情，但是人有意向性，而機器沒有。”[2]10意識只是腦的一種屬性，機器與人類可以具有相同的功能，但是機器沒有意向性。即使人工智能不是道德主體，但是人工智能與人類可以具有共同的行為。如果人工智能獲得與人類相近或者相同的思維能力和推理能力，界定人工智能和人類的道德地位也會成為難題。例如，機器學習與圖像識別技術讓無人駕駛汽車輕松上路，卻帶來機器設計道德上的倫理困境等。人類行為具有復雜性，并不能簡單地還原為大腦的結構，人類的大腦到現在為止還是一個未知的“黑箱”。

人工智能技術改變了傳統的人與技術的關系。美國技術哲學家唐·伊德（Don Idle）在其《技術與生活世界》一書中從人對技術的感知出發，用“人一技術一世界”的結構分析三者的關系問題，提出了人與技術的具身關系、詮釋學關系、它者關系和背景關系，構成了四種技術情境下的人、技術與世界的互動關系圖式，分別是[3]72-112：

具身關系：（人—技術）→世界

詮釋學關系：人→（技術—世界）

它者關系：人→技術—（—世界）

背景關系：人（—技術/世界）

伊德認為：“越接近于技術所允許的隱形性和透明性，就越能擴展人的身體感覺，就越是好的技術。值得注意的是，設計的完善不僅僅與機器有關，還與機器與人的組合有關。機器沿著一個身體的方向完善，并且是根據人的感知和行為塑造的。”[3]74設計者在人工智能中占有重要地位，因此，必須關注智能機器的設計主體。

（二）人工智能設計“道德嵌入”的合理性分析。人工智能不同于其他技術人工物的研究，人工智能研究不僅關注設計、制造主體的責任，更應思考人工智能是否具有道德意識，并且應關注如何在人工智能中嵌入與人類主體相似的行為倫理規范。因此，應該在計算機程序中嵌入人類道德，像約束人類行為一樣約束人工智能的行為。

人工智能設計不是一個閉環系統，對于人工智能的價值反省與倫理追問處于發展階段。如何讓人工智能像道德主體那樣去行動以及如何為人工智能編寫道德代碼也納入哲學學者的視野。例如，丹尼爾森在其著作《人工道德：虛擬游戲的道德機器人》（Artificial Morality：virtuous Robots for Vitual games）中關注入工智能的道德問題；2007年霍爾撰寫的《超越AI：讓機器產生良知》（Beyond AI： Creating theConscience of the Machine）一書，關注設計道德機器：瓦拉赫與艾倫撰寫的《道德機器：如何讓機器人明辨是非》（Moral Machines： Teaching Robots Right fromWrong），試圖從道義論、效果論和美德倫理學討論人工智能體的道德問題。

舊式的技術哲學家多半是被動反應，新一代技術哲學家主動出擊，力圖使工程師們意識到技術設計帶來設計進程的價值，并希望以此去影響技術的價值與設計。人工智能的價值可以從外在性與內在性兩個層面去分析。人工智能的外在價值表現在人工智能對公共福祉的貢獻，內在價值表現在人工智能技術如何形成它對人類的意義。對人工智能設計具有兩種不同的規范進路：一種是職業倫理進路，這是一種“外在主義進路”，還有一種由荷蘭技術哲學家普爾（Ibo van de Poel）等人提出的“內在主義進路”，即人工智能設計“致力于關于技術發展的一種更加內在主義、經驗性的觀察，考慮設計過程本身的動態性并探討該語境下產生的倫理問題”[4]。學者也從內在主義進路尋找解決傳統倫理問題或者新倫理問題的途徑。例如，弗里德曼（Batya Friedman）與卡恩（Peter Kahn）在1992年提出價值敏感性設計（Value sensitive design）。設計者在設計時應保持對技術價值的敏感性，在技術設計中將道德嵌人其中。人工智能設計也需要“道德嵌入”。所謂“道德嵌人”是將特定群體認可的價值觀與道德標準程序化為道德代碼，嵌入人工智能系統，同時內置道德決策場景的指導性抉擇標準。對智能系統進行道德訓練，使其具備類人的道德推理能力，并利用機器學習算法投射使用者的道德偏好。設計者越來越意識到自身的價值觀對設計進程的影響，以及在此過程中他們對于他人價值觀的敏感度。設計者在設計想象階段就應負載價值，應保持對技術價值的敏感性，在技術設計中嵌人道德。在人工智能設計之初就應該賦予其“善”的設計理念，在設計之始把“善”的觀念嵌入到智能機器中。

二、人工智能設計帶來的風險分析

設計是一個問題解決過程，或者說是一個決策過程，是設計主體根據自身需要，有意識地創造出技術人工物的過程。設計不但是科學知識的獲取與應用過程，還是新物體的技術發明與創造過程。西蒙（Hubert A Simon）提出：“（設計）考慮的是人工物（artifacts）應該是怎樣的，也就是什么樣的人工物才能實現目的，才能發揮其作用。”[5]4-5人類技術行為的主要結果是設計和制造各種人工物。設計具有兩個屬性。首先，設計是為了達到設計者某一方面的目的。設計望遠鏡是為了觀察浩瀚夜空；設計情感機器人是為了滿足人類的情感需求；設計無人駕駛汽車是為了安全以及在駕駛中解放人類雙手等。其次，設計體現了主體的意向。在設計主體設計之前就有了設計理念與設計思路。馮·賴特（von wright）也提出從設計主體的目的與意向等方面去闡釋設計邏輯。賴特認為：如果把x稱為目的，而y是實現目的的手段與行動。那么設計可以用如下表達式表示：“某人想得到x除非得到y，否則不可能得到x，因此必須得到y”[6]。按照賴特的觀點，設計就是為了達到主體的目的而進行的一系列活動。設計必須遵循自然界的規律，違背物理規律就不能制造出人工物，人工智能的設計也不能違背自然界的規律。人工智能的設計是通過工程師、程序員編寫、設計程序、算法的輸人，使設計出來的人工智能產品彰顯設計者的目的，在設計、制造過程中必須遵循這些科學規律。

人工智能設計不當會給個人和社會帶來風險，小則造成經濟損失，大則威脅社會穩定與生命安全。人工智能風險與設計息息相關，并且可以把設計作為人工智能的風險根源。人工智能設計風險主要體現在以下幾個方面。

（一）人工智能設計目的與實際結果的不相符帶來的風險。人工智能在制造之初先有設計理念與設計思路，設計者為了達到目的，在設計中把人工智能的工具理性與價值理性結合起來。也就是說，人工智能在設計之初已經負載了設計者或者設計團隊的意愿與愿望。人工智能產品的設計離不開設計者的努力，設計程序與算法凝聚著設計者的心血和智慧，但是并不是所有的設計者都是“完人”。由于受設計者或者設計團隊偏見、錯誤認知、價值判斷及利益追求等因素的影響以及設計的算法存在技術缺陷等，所設計出來的人工智能產品可能存在一定程度的缺陷。人工智能風險很多時候源于設計之初的程序錯誤或者算法誤差。例如，特斯拉自動駕駛汽車造成人員傷亡就是因為其設計的程序存在漏洞，人工智能系統在設計階段的錯誤導致人工智能風險的產生。人工智能技術除了需要探索與客觀真理的關系，還包含著人類目的性的社會建構活動。伽達默爾曾經說過：“20世紀是第一個以技術起決定作用的方式重新確定的時代，并且開始使技術知識從掌握自然力量擴展為掌握社會生活，這一切都是成熟的標志，或者也是我們文明的標志。”[7]63設計具有目的性，但設計者的初衷和設計出來的產品的實際使用情況并不是完全一致，有時甚至大相徑庭。例如，汽車的設計者與使用者沒有想到汽車的使用會發生交通事故以及環境污染等問題，但是汽車設計與使用確實導致交通事故與環境污染。

（二）人工智能設計目的與使用者需求不相符帶來的風險。技術不但促進了人類進步，還改變了人類的生產生活方式。人工智能技術作為新興技術具有不確定性，對此可以理解為人工智能技術后果的難以預見性以及難以量化評估性。人工智能的技術風險還可能是由于人類的有限理性所致，人類對于風險預測、評估與風險發生的客觀概率之間存在偏差。人工智能風險源于設計者的有限理性。人工智能產品的設計一般是根據市場需求、設計者的能力、使用者的需要等因素復合而成的。設計者和使用者通過人工智能產品實現一種特殊的“互動”，設計者可以有意地引導使用者使用某些功能或者避免使用某些功能。如在人機交互界面優先推薦本公司的產品。設計者通過使用者的意見和反饋，對算法和程序進行修改，從而實現一個良性互動。但是這種互動往往并不能真實反映使用者的意圖，相反在很大程度上是設計者意圖的強化，因為存在所謂的“設計黑箱”，設計者對設計出來的人工智能不能準確預測與評估。

（三）人工智能設計技術的不完備帶來的風險。人工智能的功能與設計者的目的有關，設計者的目的是設計出人工智能的物理結構，讓智能機器具有一定的功能，滿足人類某一方面的需要。“功能描述自身與結構描述自身都不能完整地描述一個技術人工物的設計；功能設計忽視結構設計的同時，結構設計也缺少了功能設計特性，這就表明在描述人工物時，結構與功能特性都是工程實踐中必不可少的。”[8]其他設計遵循結構功能關系，人工智能設計的特殊性，自身有推理能力，智能機器擁有前所未有的自主性，并且擁有能夠獨立作出決策的能力。美國機器倫理學家帕特里克（Patrick Lin）認為機器具有“自制能力”，他說：“一旦機器的一部分啟動，那么該機器就根據外部環境進行自我反饋運行，而具備在一定時間內不受外部控制的能力。”[8]智能機器具有不完全受制于人的自主性，人工智能的算法與程序可能帶來風險。瓦拉赫（Wendell Wallach）與艾倫（Colin Allen）在《道德機器：如何讓機器人明辨是非》中提到：“現今在美國死于醫療事故的人每天有100到200人，而且許多這類醫療事故都與計算機有關系。這些錯誤諸如發錯藥，算錯藥物劑量，每天都導致100到200人死亡。我并不確切知道你們將其中多少人的死因歸咎于計算機的錯誤，但是這個原因占有一定比例，可以肯定地說，每隔兩到三個月我們死于計算機錯誤和醫療事故的人數就抵得上一次‘9.11。”[9]22通過上述例子可知，人工智能的算法錯誤或者程序錯誤等可能造成風險。

三、人工智能設計風險規避的思路

（一）人工智能設計的目的應彰顯“善”的理念。智能機器是為了滿足人類某方面的目的，人工智能設計應首先保證智能機器更好地為人類工作與服務，這優先于智能機器的工作效率與功能。人類與智能機器之間的關系不再是過去簡單的人與技術人工物之間的主客二分關系，而更多的是協作甚至更私密的關系。由于人類思維和情感的復雜性和多元性，人機關系并不是一個簡單的課題。機器人技術要想處理好人與世界的關系，必須把道德嵌人機器人的設計、研發與制造過程。必須用“善”的理念設計智能機器，約束與規范智能機器的發展。阿西莫夫（IsaacAsimov）最早提出用“機器人三定律”來規范智能機器發展：“機器人不可以傷害人類；或者，通過不作為，讓任何人受到傷害；機器人必須遵從人類的指令，除非那個指令與第一定律相沖突；機器人必須保護自己的生存，條件是那樣做與第一、第二定律沒有沖突。”[10]2后來又加上第四條準則：機器人不得傷害人類，或者因為不作為，讓人類受到傷害。阿西莫夫機器人定律是康德式的道德律令，認為人類應該制定需要智能機器遵守的道德準則，這是一種自上而下的倫理規范方法。所謂自上而下的倫理規范方法是把規范化的價值觀當作在自主體的活動中隱含的內容，而不是被抽象地表征出來。除了自上而下的倫理規范，還需要根據人工智能的具體情境設計相應的倫理。通過自上而下與自下而上的倫理規約共同作用，規范人工智能的設計。人工智能很大程度上取決于程序與算法學習模型的設計水平，在設計中必須把價值轉成具體的設計要求。“設計中實現價值的一種方式是將它們轉換為規范和設計需求。”[11]253設計的具體要求包括效能、效率、靈活性、成本與安全等指標。設計過程需要遵循價值觀、規范與成功等標準。

（二）設計過程中應關注正義與公平。1980年，溫納（Langdon Winner）通過羅伯特·莫斯（RobertMoses）在美國長島設計的低懸立交橋來闡述設計公平問題，這座橋只可以通過富人的私人轎車，而不能通過大巴車等公共交通工具，這涉及對習慣乘坐公共交通工具的黑人的歧視。通過這個例子溫納提到了設計公平問題，在人工智能設計中應該關注正義與公平。

人工智能設計應該關注機會平等。機器人不再是簡單工具，在機器人的設計中應該關注責任倫理，其中正義原則是機器人設計始終需要貫穿的一個重要原則。機器人的設計要關注公平和正義。機器人設計不應造成擴大主體間權利、地位上的差距，導致實際上不公平和不正義。如無人機的技術設計、生產需要大量的成本，導致價格昂貴，并非所有人都能享受該項技術的成果，這會導致公平性喪失；使用無人機送快遞等會造成現有快遞從業人員的就業機會不公平。羅爾斯（John Rawls）提出：“所有值得我們注意的倫理學理論都須在判斷正當時考慮結果，不這樣做的倫理學理論是奇怪的和不可理喻的。”[12]23

人工智能設計也應該追求技術結果的公平、正義。它包括技術獲取途徑的公平正義，人工智能涉及不同人群的不同利益，機器人的設計中要確保機器人的設計目的是為了人類的整體利益而不是某些個人或者集團的利益；人工智能使用致力于大部分人的利益而不是少數人的利益。人類有責任與義務為人工智能設計制定規則，約束設計者在設計之初考慮到人工智能的社會影響，避免因為人工智能的應用拉大人與人的差距，造成人與人之間的不公平，避免造成社會風險。

（三）人工智能設計應強調設計者的責任意識。人工智能技術設計必須關注設計者信念、行為以及設計者在技術實踐中的作用與責任等研究主題，設計者在人工智能技術發展中不能置若罔聞，更不能袖手旁觀。“伴隨著技術的發展，需要設計師的全程參與，尋找道德反思的應用，并期待技術設計的社會影響。這種類型的道德規范參與技術發展，而不是將自身置于技術范疇之外。”[13]智能機器的設計者要對可能出現的技術負面效應作出足夠的論證，也要充分考慮人工智能技術發展帶來的倫理困境，考慮到智能機器的運用過程中不可避免地會面臨道德困境。如何使智能機器在面臨類似情形時作出最有益于人類的抉擇，是設計者們要提前考慮的問題。因此，人工智能設計和制造應遵循職業道德與社會公德。

除了強調個人的責任意識之外，還要發揮行業協會與國際組織的作用。美國電氣與電子工程師協會（IEEE）、美國職業工程師協會（NSPE）、美國機械工程師協會（ASME）以及美國的伍斯特理工學院機器人工程師職業倫理（WPI）都提出人工智能設計的職業倫理規范。在這些行業規范中，都認為工程師應具有誠實、公正等職業美德，都應該關注安全、健康和公眾福祉。例如，2002年電氣與電子工程師協會給出了機器人的倫理規范：第一個分支為機器倫理學（machine ethics），研究的重點為“賦予機器人倫理原則或者促進機器人解決可能預見的倫理困境，在機器人自主作決定的時候，提高他們的道德考量比重”[14]1；第二個分支為機器人倫理學（robot ethics），主要關注入類在設計、使用操作過程中與機器人交流互動中的倫理問題。2017年1月，美國召開的“阿西洛馬會議”提出了《阿西洛馬人工智能原則》，（Asilomar AI Principles）規范人工智能的發展。《阿西洛馬人工智能原則》要求人工智能設計的倫理應該追求技術結果的公平、正義，包括人工智能技術獲取途徑的公平正義，人工智能涉及不同人群、不同利益相關者的不同利益等，必須先保障公平與正義才能規避社會風險。人工智能設計主要涉及三個維度的問題：“首先，是人類創造和雇傭機器人的倫理；其次，是將人類的倫理觀念嵌入機器人當中；第三，是人類如何看待智能機器人的倫理。”[15]處理好人工智能研制、設計以及正確對待人工智能產品的關系，才能有效地規避風險。人工智能設計應關注入工智能的設計和制造應遵循的倫理準則。荷蘭技術哲學家維貝克（Verbeek，P.P）提出技術對人類行為有調節作用，設計活動天然包含一種倫理導向和倫理意義，因此，人工智能的設計也包含了道德倫理的因素。在人工智能設計過程中就需要將正義等道德因素嵌入機器人的設計過程當中，“如果倫理學是關于人如何行動的，設計師幫助塑造技術如何調節人的行為，那么設計應該被視為‘做倫理學的一種物化形式。”[16]91首先，使人工智能的設計與人類的社會價值觀保持一致；其次，人工智能設計還要研究如何善用和阻止惡用人工智能，使人工智能造福于人類。

綜上所述，在智能機器的設計、研制和發展進程中，我們應注重科學與倫理求真與求善的協調發展，重視設計倫理和過程監控，規范和約束智能機器的發展，保證智能機器技術更好地為人類所用，使智能機器人更好地服務于人類社會。同時，在機器人研制、設計等過程中應與倫理緊密聯系，重構人工智能責任體系以及建立人工智能倫理規則，注重程序正義和結果正義。在人工智能發展設計之初就應該為其注入一顆“良芯”，這樣才能有效規避人工智能技術風險與社會風險。

參考文獻：

[1]Allen Newell，H.A.Simon.Computer Simulation of Hu-man Thinking（M）.Santa monica：The RAND Corporation，1961.

[2]瑪格麗特·博登.人工智能哲學[M].劉西瑞，王漢琦，譯.上海：上海譯文出版社，2001.

[3]Ihde D.Technology and the Lifeworld：From Garden toEarth[M].Bloomington：Indiana University Press，1990.

[4]Poel I V D，Verbeek P P.Ethics and engineering design[J].Science Technology&Human; Values，2006（3）：223-236.

[5]Simon H A.The sciences of the artificial[M].Cam-bridge：MIT press，1996.

[6]Wright G H V.Practical Inference[J].PhilosophicalReview，1963（2）：159-179.

[7]伽達默爾.科學時代的理性[M].薛華，等譯.北京：國際文化出版公司，1988.

[8]ICroes P.Coherence of structural and functional de-scriptions of technical artefacts[J].Studies in History&Philos-ophy; of Science Part A，2006（1）：137-151.

[9]Wendell Wallach &Colin; Allen.Moral Machines：Teaching Robots Right from Wrong [M].Oxford &New; York：Oxford University Press，2008.

[10]阿西莫夫.銀河帝國8：我，機器人[M].葉李華，譯.南京：江蘇文藝出版社，2012.

[11]Poel I V D.Translating Values into Design Require-ments[M].Philosophy and Engineering： Reflections on Pray-tice，Principles and Process.Springer Netherlands，2013.

[12]約翰·羅爾斯.正義論[M].何懷宏，等譯.北京：中國社會科學出版社，1988.

[13]Verbeek P P.Accompanying technology：Philosophyof technology after the empirical turn[J].TechnB：Research inPhilosophy and Technology，2010（1）：49-54.

[14]Anderson M.Machine Ethics[M].Cambridge：Cam-bridge University Press，2011.

[15]Asaro P M.What Should We Want From a Robot Eth-ic？[J].International Review of Information Ethics， 2006（6）：2-8.

[16]Verbeek P P.Moralizing Technology：Understandingand Designing the Morality of Things[M].Chicago and Lon-don：The University of Chicago Press，2011.