機器模仿倫理性決策的風險與應對進路分析

王楠

摘 要：文章以無人駕駛技術為例，提出機器模仿倫理性決策時的三個層次的風險，第一個層次為人-機關系風險，第二個層次為人-機-第三方關系風險，第三個層次為人-機-社會價值體系風險，同時對風險應對的進路進行梳理，從研發與研發管制、法律制度、國際協調機制三個方面進行說明。

關鍵詞：倫理與道德；人工智能；決策

中圖分類號：U463 文獻標志碼：A 文章編號：2095-2945（2018）32-0016-03

Abstract： Taking unmanned driving technology as an example， this paper puts forward three levels of risks in ethical decision making of machine imitation： the first level is the risk of man-machine relationship， and the second level is the risk of human-machine-third party relationship. The third level of human-machine-social value system risk， at the same time to sort out the approach to the risk response， from the R&D; and R&D; control， legal system， international coordination mechanism three aspects.

Keywords： ethics and morality； artificial intelligence； decision making

1 異于傳統技術工程倫理的人工智能倫理

2017年見證了人工智能（AI）開發應用的極速成長，如果僅僅將AI視為人類技術環境中的一項正在崛起的構成要素，與人類文明進程中的各項技術要素具有相同屬性的話，結合對技術史的簡單回顧，或將初步認為AI的形成、發展與應用是歷史的必然：自19世紀中后葉電氣技術革命開啟的系統自動化的探索歷經百年積累，與計算科學等相關學科不斷演進、互動，從計算機的誕生到互聯網通信技術的全球普及，由云計算、大數據至今日AI日臻穩健成熟，不斷更迭的智能算法、對無法想象的量級數據的超速處理能力正以一種前所未有的方式驅動AI在全球各個行業的應用與布局。

致力于AI與Robotics技術市場咨詢的Tractica預測：由AI直接或間接應用帶來的全球市場收益將由2016年的14億美元急劇增長為2025年的368億美元，其門戶網站亦發布215項AI用例描述，橫跨政府公共部門與私營部門，涉及ICT、交通運輸、醫療診斷與護理、金融市場預測、消費品市場、新聞傳媒、能源與制造業，甚至SNS領域（social bots）。

伴隨“弱”人工智能的普遍使用與“強”人工智能的進一步開發，智能機器系統（intelligent machine systems）無疑將成為第四次科技革命的主要動能之一，但這不是故事的全部，沿用社會學家Merton教授的觀點，科學是一種社會建制，是社會的子系統，與政治、經濟、文化、社會、法律處于互動過程中，面對AI用例的拓展與應用，人類文明的生產、工作、生活方式將被“重塑”，人類生存與發展質量被迅速提高的同時，其帶有危險性的另一面已投射下無法忽視的陰影，人機關系（human-machine relations）復雜性的發展速度超出我們想象，此時對AI倫理性思考的迫切程度是空前的，人們必須同時掌握AI作為顛覆性技術對人類社會文化價值體系、倫理道德規范的沖擊，人機關系的持續發展與變化有無可能反向侵蝕倫理道德體系？ 能否在研發環節運用強大的算法將AI潛在的非道德行為風險最小化？

需要注意到，AI的倫理性探討超越傳統技術工程倫理的共性范圍，基于以下原因：第一，有研究將納米技術、生物技術、合成生物與機器人歸并為科技社會發展的新范疇，與之關聯的已有科學技術學科邊界變得不再清晰，這一點不僅體現在技術的研發、設計本身，倫理性評價亦呈現前所未有的復雜性與跨學科特征；第二，人工智能不斷將物理世界和個人的界限模糊化，延伸出復雜的倫理、法律和安全問題。

假設對AI的倫理性探討有以下三種態度：第一，認為AI技術本身尚未成熟，與其相關的倫理性話題多見諸科幻作品，應將注意力用于技術突破方面；第二，基于學術界對AI風險分時期的判斷，將目光鎖定遠期風險，如AI異化和對人類社會的反噬；第三，目前最為棘手的問題是已經部署并應用與生產生活的AI系統潛藏的真實風險，不應立即被“未來”擔憂稀釋對近期問題的關注。

本文持有第三種態度，AI用例的應用的深入已將人類個體、機器與社會間的交互關系變得更復雜，不止于技術變革，這些前所未有的變化或將帶來持續動態的社會變遷，雖同樣涉及故障率、系統安全、失業風險等方面，異于傳統技術工程倫理的人工智能倫理呈現更多維度。

2 無人駕駛技術的倫理性風險

哈佛大學的研究機構Berkman Klein Center將自動駕駛作為三項核心AI用例之一進行倫理與法律框架探討，認為最常見、發生最頻繁的人機互動是駕駛者-駕駛工具構成的自動化系統。

從Beneficial AI的角度衡量無人駕駛，其技術可行性達成的條件為：無人駕駛系統在非干預的情況下不存在失靈風險；系統對道路狀況的自動判斷的準確性、反應速度、敏捷程度和對不確定性的抵御能力均高于具有高超駕駛技能的人類駕駛者；面對道德困境（moral dilemma），能夠做出符合人類社會倫理規范（codes of ethics）的決策。

由此推導出無人駕駛技術的倫理風險：

（1）人-機交互-機器故障或系統出錯。2016年5月，美國佛羅里達州，Joshua Brown在駕駛特斯拉Model S時發生車禍身亡。當時，他的Model S在Autopilot模式下與一輛卡車相撞。這起事故引發了對自動駕駛系統安全的質疑。美國交通安全委員會（NTSB）發布了500頁的調查結果。報告指出，在這段37分鐘的行程中，Brown被要求手握方向盤。然而，他只在25秒的時間里這樣做，從官方調查結果來看，事故責任更多指向未接受系統安全提示的Brown本人。但據其他渠道信息顯示，Brown駕駛的Model S使用的是可見光感攝像機獲取道路圖像，通過后臺計算機系統做出實時路況判斷，而與其相撞的卡車恰好為白色，混合進明媚的弗羅里達州道路環境的背景色調，導致系統未能識別，這與官方調查結果相異。對于事故的成因我們暫不深究，但需要格外警醒，雖處于萌芽階段，無人駕駛技術進入公共道路體系后究竟該如何制定與之匹配的事故責任劃分制度（Accident Liability Regime），如何以Beneficial AI為導向通過無人駕駛技術有效降低人控駕駛行為的事故率，如何在全新的道路交通駕駛技術環境下做出理性的倫理與法律制度調整與補充。

（2）人-機-第三方相互作用-道德困境時的抉擇。與人類駕駛者面臨的道德困境相似，自動控制軟件面臨“生死”難題時如何決策成為Robo-Ethics領域廣泛爭論的問題，科技倫理學者往往選用經典的思想實驗-電車難題（Trolley Problem），并引入權變變量使決策情境適度復雜化（Belay， 2015；Gogoll & Muller， 2017；Sparrow & Howard， 2017），例如在兩側軌道無法知曉來襲電車的1人與5人（此時假設1人與5人是無差異的同質性個體）的基礎上，將受威脅個體特征納入考慮，如一側的1人為兒童，又如出現動物的情形，有時將該問題演化為“隧道”難題，依然將決策內容設計為“生”或“死”的困境。有關“電車難題”的倫理學爭論大大量文獻有時被稱為“trolleyology”（“電車難題學”）。（Gogoll & Muller 2017）

爭論的哲學根源往往在于Kantian Ethics（康德倫理學）的 Deontology（義務論）考慮與Utilitarianism（效用主義或功利主義）考慮的差異，二者存在競爭關系。以義務論的透鏡來看，個體的任何決策與行動不以所處情況的變化而轉移，一切以是否符合道德要求作為決策依據，康德認為人是目的性存在。“你的行動，要把你自己人身中的人性，和其他人身中人性，在任何時候都看作是目的，永遠不能只看作是手段。”“每個有理性的東西都須服從這樣的規律，不論是誰在任何時候都不應把自己和他人僅僅當作工具，而應該永遠看作自身就是目的。”面對“電車難題”，義務論者會認為無論如何選擇，均會導致剝奪生命的情況出現，這是義務論者無法接受的，但此時若選擇不采取任何行動，一定程度演化為“間接殺人”。以功利主義的透鏡來看，個體面對道德困境時的行動依據在于對備擇決策（alternative decision）的損益分析，以此優化效用值，此時功利主義者將生命“換算為效用值”，對生命價值進行比較，這一點與道德哲學中的前者，即義務論的觀點完全背離。

不同價值立場的人將作出不同選擇，當無人駕駛汽車的自動化系統作為決策主體時，它的價值判斷一定程度體現程序設計者的價值選擇，此時的矛盾超出human-prioritizing（優先人類）的程序設計原則能夠掌控的范圍，程序設計者需要首先將“義務論”與“功利主義”兩種取向發展互動的動態特征嵌入編程本身。

有研究者認為“電車難題”在無人駕駛情境下的倫理困境不僅僅涉及哲學爭議，心理學亦占據一席之地，例如個體認知、感知、情感、情緒等變量在道德性決策中的作用。對意識的模仿屬于“強”人工智能技術范疇，本文認為機器無法替代人的主體性，算法無法使其具備生物性特征。

（3）人-機-社會價值體系相互作用-同質化風險。對無人駕駛倫理風險的考量并未止步于對故障率與“電車難題”的思辨，從技術實現的角度考慮，無論無人駕駛系統做出何種決策，它僅僅是在模仿人腦的決策過程，模仿由算法來實現，算法能否體現優先人類福祉的原則與社會普遍的價值取向和行為規范？即便能夠在算法開發中找到并體現合理的社會價值共識，這種被動的價值趨同（value convergence）可能引發宏觀層面的困境：第一，預先嵌入的、程序化的倫理觀念可能使人的價值判斷和生活理念趨于同質化和平整化；第二，對現行主流社會道德價值體系的顛覆性沖擊。

3 風險應對進路

3.1 研發與研發管制

對無人駕駛技術而言，設計者無法保證在緊急突發情況下，自動控制系統能百分之百做到在倫理上“對”的選擇，而且不受使用者干預。Baruch指出無人駕駛在保障安全這一技術環節上亟待突破，在出現單點失誤（singlepoint failure）之時，系統仍可以同步調查其他關鍵信息流，并隔離該失誤，完成AI重新配置的過程，直至得到修理，Baruch認為有了這一技術保障，Brown也許不會死，他駕駛的Model S也許會慢慢停下來，僅僅因為傳感系統出現單點失誤。另一問題在于，引擎制造商是否需要像飛行棋引擎制造商那樣實時監測所有出廠引擎的表現，提供在線服務。

從研發管制的角度講，政府作為關鍵的利益相關人（stakeholder）需要對行業技術標準和最佳實踐找尋方面進行管制，并在此過程中采用多邊對話的機制，將倫理學者、風投方、設計商、軟件工程師、制造商、行銷商、消費者、公民社會組織等納入對話，構建AI Partnership。

一些非政府組織已有所作為，2017年“生命未來研究所”通過產學研聯合方式制定的“阿西洛馬人工智能原則” 拓展了阿西莫夫“機器人三原則”，列出了23條準則，包括科研問題、倫理價值和長期問題。

3.2 法律制度

作為對無人駕駛技術倫理風險的回應，很多研究呼吁有針對性的法律調整與補充，最終通過立法來正式化。Gogoll & Muller （2017）認為在比較mandatory ethics setting（MES）與personal ethics settings（PES）之后，應選擇更為強制性的倫理預設，因為PES會進一步陷入囚徒困境，將MES制度化的需求亦在于相應法律制度的形成。Belay（2015）基于無人駕駛技術情境下商業相關者（制造商、使用者、保險業者）的責任探討，提出具有實踐啟發的立法框架（legislation framework），指出不應與現行的侵權法（tort law）有明顯背離，這一點可以通過采取在倫理上處于中立的“自我保全”的設計出發點來實現，同時加入“reasonableness standards”調整消費者對技術的過高期待。

3.3 國際協調機制

IEEE已發布《以倫理為基準的設計指南》，從體現人權、優先人類福祉和自然環境、削弱人工智能風險和負面影響為出發點，發展為人類利益、責任、透明、教育和意識的四個基本原則，在實現路徑方面，提出三階段的實踐過程：第一，將倫理規則嵌入AI系統識別特定的規范和價值；第二，嵌入AI系統；第三，評估與現有人類規范價值的一致性和兼容性，將從AI國際技術標準研制的角度對研發、生產、市場化行為進行約束。

技術的可流動性是目前全球化過程中的重要特征，當我們加入“跨國”這個權變因素時，對無人駕駛技術倫理風險的考量將變得更為復雜，必須考慮不同國別背景下的文化價值體系對無人駕駛技術的隱性的倫理審視：AI技術的擴散會對財富不平等起到修補作用（affirmative actions）還是說它不僅沒有再分配的性質，甚至會在原有基礎上增加不平等的程度？這一問題不是AI獨有的跨國倫理問題，是所有技術全球化都必須考慮的，進而要求國際組織，如WTO、ILO等開啟對話機制，盡可能減少無人駕駛技術等AI領域發展初期可能引起的不平等。

參考文獻：

[1]齊昆鵬.2017人工智能：技術、倫理與法律研討會在京召開[J].科學與社會，2017，7（2）.

[2]謝惠媛.民用無人駕駛技術的倫理反思——以無人駕駛汽車為例[J].自然辯證法研究，2017，33（9）.

[3]Baruch，J.（2016） Steer Driverless Cars Towards Full Automation[J]. Nature， 2016，536：127.

[4]Belay，N.（2015）Robot Ethics and Self-Driving Cars： How Ethical Determinations in Software Will Require a New legal Framework[J].The Journal of the Legal Profession，2015，40：199-130.

[5]Crawford，K.&Calo;，R.（2016） There is a Blind Spot in AI Research[J].Nature， 2016，538：311-313.

[6]Funk，M.（2016） Patrick Lin， Keith Abney， and George A. Bekey （eds.）： Robot Ethics： The Ethical and Social Implications of Robotics[J].Ethical Theory & Moral Practice， 2016，19：547-548.

[7]Gogoll，J.&Muller;，J.F. （2017） Autonomous Cars： In Favor of a Mandatory Ethics Setting[J]. Sci Eng Ethics，2017，23：681-700.

[8]https：//www.tractica.com/research/artificial-intelligence-use-cases/

[9]https：//cyber.harvard.edu/research/ai/usecases

[10]http：//auto.163.com/17/0620/15/CNCQGH3C000884NK.html

[11]http：//www.ctoutiao.com/129735.html

[12]Sparrow，R. & Howard，M.（2017） When Human Beings are like Drunk Robots： Driverless Vehicles， Ethics， and the Future of Transport[J].Transportation Research Part C 80， 2017：206-215.