向可信賴人工智能邁進

菲利波?法布羅西尼 / 文

編者按

在2021年世界人工智能大會法制論壇上，菲利波?法布羅西尼（Filippo Fabrocini）作了題為“向可信賴人工智能邁進”的演講。菲利波?法布羅西尼是人工智能領域尤其是機器學習方面公認的領導者。他曾在IBM研究中心（意大利羅馬和美國圣何塞）擔任高級研究員、在卡耐基?梅隆大學計算機學院擔任訪問學者，與諾貝爾獎和圖靈獎獲得者赫伯特?西蒙合作，擔任意大利格列高利大學哲學系教授以及意大利米蘭的IBM創新中心總經理，曾榮獲包括兩項IBM杰出技術獎和一項IBM客戶價值卓越技術成就獎在內的多項獎項。現任同濟大學設計創意學院教授、“可持續人工智能實驗室”主任。

如今，從醫院到機場，人工智能在一些最重要的社會機構中越來越普遍。百度搜索、谷歌地圖、淘寶推薦引擎皆是基于人工智能算法，人工智能在分子設計、眼病檢測、智能武器等多個領域也取得了顯著成果。但與此同時，我們應該學會審視自身對人工智能技術的立場和態度，審視自身對技術的期望，審視人工智能中的潛在弱點、帶來的風險和突發事件。我們應該學會問類似“自動駕駛汽車是為了什么”“如何使它們與我們想象的生活方式相適配”“它們將帶給我們什么”“我們對它們足夠了解嗎”“它們足夠安全嗎”“我們是否有其他可行的選擇方案嗎”等問題。我們不應該把這些問題留給那些以增加利潤為唯一目標的企業。此外，如果我們希望避免“炒作”技術，應該學會避免誤導性的圖像、模糊的概念或令人困惑的隱喻。例如，應用于人工智能系統的“認知”概念與應用于人類的“認知”概念是不同的。我們把以人類為中心的概念類推到機器上，沒有澄清各自用途之間的差異。在人工智能系統中，知識意味著什么？學習意味著什么？做出決定意味著什么？當人工智能系統做出決定時，誰來采取行動？有代理商在執行決定嗎？人工智能系統是否應該對其做出的“決定”負責？如果不是，那么誰來負責？或者為什么負責呢？

一、局限和擔憂

人工智能正在決定日常生活和家庭的未來。在找工作時，人工智能會仔細審查我們的簡歷；在申請貸款時，它會評估違約風險；在提交保釋申請時，它會評估我們的案件。然而，巴爾的摩一家有影響力的非盈利組織——審前司法研究所，多年來一直強烈支持用算法取代現金保釋，但現在已經從根本上改變觀點，聲稱算法風險評估工具不應該在審判前的司法活動中發揮作用，因為它們會延續種族不平等。這種轉變反映出人們對算法在刑事司法和其他領域的作用越來越擔憂。除了保釋系統，批評人士還警告說，不要盲目相信人臉識別、醫療保健和推薦系統等領域五花八門的算法。頂級人臉識別算法對黑人女性面孔的不匹配頻率約為白人女性面孔的10倍。在一個類似的歧視案例中，美國各大醫院廣泛使用的醫療算法系統優先考慮高收入患者而非低收入患者。2019年2月，YouTube視頻網站發現，其推薦算法正在以某種方式推動自己的用戶觀看兒童色情視頻，同時將這些視頻貨幣化。人工智能似乎在復制和放大影響人類社會的歧視、不平等和不道德的行為。

此外，一旦人工智能對我們的社會產生越來越大的影響，還會出現一些對其模型可理解性的擔憂。前面提及的不道德行為，并非來自明確嵌入任何可能導致歧視性或懲罰性后果的公式，而來自原始數據、算法設計或用戶傾向，并被人工智能不成比例地擴充。導致人臉識別系統對深色膚色識別的效果差異，其原因尚不清楚，很可能超出了用于訓練和測試人臉識別系統的數據集不能適當代表的經驗事實。實踐證明，錯誤匹配不同人（假陽性）的錯誤在黑人中更常見，而未識別匹配面孔（假陰性）的錯誤在白人中更常見。在有關社會保障的決策算法中引入醫療成本預測等替代整體健康狀況，產生了意想不到的后果，導致該算法復制了美國醫療體系的不公平準入。最后，YouTube視頻網站推薦系統令人厭惡的行為被歸因于一種名為“過濾泡沫”的效應，即人們只接觸強化他們現有信念并最終改變其對世界看法的觀點和信息。來自推薦系統的“過濾泡沫效應”不容易被辨別，就像使用一個優先考慮健康成本而不是健康狀況的代理人所帶來的后果一樣。同樣，到目前為止，人臉識別系統在不同人群上的不同表現看起來非常令人費解。因此，人工智能系統在應用于高風險決策時，人們產生擔憂似乎是可以理解的。

顯而易見的，是這些系統在技術上是復雜的，其設計選擇在很大程度上影響它們的行為。正如《自然》雜志的一篇論文所強調的，思考人工智能的一個主要盲點，是缺乏共同的方法來評估人工智能應用對政治、社會和道德環境的持續影響。如果不能解決這些問題，人工智能可能會直接“失敗”，其后果是人類將失去一個改善個人和社會福祉的機會。因此，必須強調實現可信賴人工智能的重要性。

二、公平、責任、透明的人工智能

許多組織發起了一系列倡議，以制訂旨在采用公平、負責任和透明的人工智能道德原則。在中國，北京人工智能協會（BAAI）、中國人工智能產業聯盟（AIIA）和科技部（MOST）編寫的許多文件都強調和促進了實現可信賴人工智能的相關事宜。特別是，科技部的文件有一個標志性的標題《新一代人工智能治理原則——發展負責任的人工智能》。該文件的第一行就明確指出：人工智能發展應以增進人類共同福祉為目標；應符合人類的價值觀和倫理道德，促進人機和諧，服務人類文明進步（2019年國家新一代人工智能治理專業委員會）。

這些文件與國際社會表達的總體擔憂一致，且陳述了一些建議，明確指出需要開發實現前面提到的目標的方法和工具。顯然，我們需要人工智能，但我們需要的是一個可信賴的、負責任的、透明的人工智能，人工智能解決方案的自主行為正在影響我們和家人的生活。因此，從道德人工智能的角度來看，與“自主”概念相關的概念是專利，因為人工智能“自主”的增長不應削弱或損害對人類自主的促進。因此，“自治”原則出現在六項備受矚目的倡議中（如Asilomar“人工智能原則”、蒙特利爾負責任的“人工智能宣言”等）。這并不奇怪，這些倡議是為了人工智能的“社會效益”而設立的。特別是“自主”原則，要求在人類和人工自主之間取得平衡。根據這一原則，機器的自主性應該受到限制，或者為了保證人類的自主性而使其具有內在的可逆性。為此，一些學者提出了“決定-委托”的模式，以及相應的“元-委托”的概念。“元-委托”概念認為：人類應該始終保持決定是否以及如何將決定權委托給技術人工制品的權力?！皼Q定-委托”模型是一個抽象的模型，應該有助于實現這一目標。例如，飛行員應該隨時能夠關閉自動駕駛，以重新獲得對飛機的控制。

三、“自主系統”的概念

人工智能系統在詞源學意義上是自主系統。它們是自己的統治者，是自己的法律制定者。人類定義了目標——它可能是一個目標，或者是更常見的一組目標，然后人工智能系統將為實現這個目標而自主做出決定。他們是以異體為中心的——人類定義了系統的主要目標，而不是異體的——它們自己的行為規則不是來自他人。值得注意的是，這些決定并沒有被系統的設計者明確定義，盡管系統的自由度受限于一組預先定義好的區間的類別（駕駛汽車不能決定在最近的咖啡店自主停車）。但是，這些決定可能是人類無法控制的，也可能是完全出乎意料的，這一點最近已經被證明。然而，只要我們討論“自主系統”對生活的影響時，必須根據定義強調“自主系統”在某種程度上是“不受人類控制”的，正如“自主”一詞的詞源學意義清晰表達的那樣。一般來說，對人類控制的需求，或可以容忍的自主程度，將根據系統執行的任務的復雜性、系統運行環境的復雜性以及系統本身的復雜性而有所不同。例如，如何監測一個交易速度達到5微秒左右的高速金融交易系統？

四、誰該負責，抑或是“什么”該負責

2018年3月18日，伊萊恩?赫茲伯格女士的死亡成為有記錄以來的第一起涉及自主車輛的行人死亡案例。2019年，美國國家運輸安全委員會出具的事故報告，將車禍原因歸結為車輛操作員未能監控駕駛環境。像往常一樣，這類案件最終被歸類為來自“操作錯誤”的事故。然而，該報告還指出了一些與自動駕駛汽車有關的故障。特別是，自動駕駛系統（ADS）無法正確識別行人；其設計沒有依靠非存在物體的跟蹤歷史，以預測行人的路徑和預測自己的目標；該系統無法設定一個亂穿馬路的固有目標，因為它沒有通過這種行為的集成案例進行適當的訓練。此外，汽車上的自主緊急制動系統被禁用，原因尚不清楚。根據美國國家運輸安全委員會的報告，其目的可能是為了確保平穩的駕駛行為，因為在軟件開發階段，自動駕駛的汽車若被一些微小細節所迷惑，如樹枝產生的陰影，就會傾向于自己做出緊急決定，如猛踩剎車或猛打方向，結果更容易導致危險和不愉快。如此看來，ADS的開發似乎還遠遠沒有完成，甚至遠遠不是最終版本的測試版本。軟件工程師被迫在假陽性（檢測到一個不存在的物體）的風險和假陰性（未能對一個被證明是危險的物體做出反應）的風險之間進行平衡，以避免使用緊急制動系統并獲得盡可能舒適的乘坐體驗。他們把自己對安全的決定嵌入到自動駕駛系統中。自動駕駛系統也錯過了使用警報系統的機會，其行為對操作者的不透明，導致赫茲伯格女士最后悲慘喪命。

今天，大多數的人工智能算法在兩個層面上嵌入了隨機性的特征：(a)它們是輸入數據的概率函數，從根本上說，它們是“曲線擬合”設備，正如朱迪亞?珀爾對它們的諷刺定義；(b)它們包括一個額外的隨機性水平，因為它們是與環境無關的設備，訓練數據不能覆蓋預設系統最終可能發現自己所有可能的環境，正如赫茲伯格女士的悲慘案例所示。米特爾施泰特等人將與a相關的擔憂標記為“不確定的證據”，在這個意義上，人工智能算法利用統計學習技術來誘導數據集內的相關性，以生成與b相關的擔憂是“誤導性證據”。它為人工智能解決方案提供了參考，即人工智能算法的輸出僅依賴于來自輸入的證據（如在自動駕駛汽車的情況下，用于訓練算法的樣本集是算法可以用來描述任何可能的唯一證據來源）。但是，如果責任意味著自主性的話，那么自主性并不意味著責任。在涉及自主系統的事故中，誰應該負責？每當發生致命事故時，站在監管者一邊談論“不可預測的后果”“自動自滿”“操作錯誤”等已成為常見現象。與此同時，亞利桑那州在赫茲伯格女士的致命事故發生后，并沒有改變其關于自動駕駛車輛的規定。所有這些都讓人想起社會學家烏爾里希?貝克所說的“有組織的不負責任”。

五、在盒子內看VS在盒子對面看

正如阿納尼和克勞福德在2016年建議的那樣，為了理解人工智能，只看技術盒子內部是不夠的。我們應該學會從多個角度、多個層面評估它如何符合人類社會希望實現的生活方式。這項任務意味著一種多元化的視野。在這種視野中，技術盒子被從純技術功能以外的各種角度進行分析和審查。對改進算法的執著，有助于掩蓋關于人工智能系統的設計、實施和最終部署的倫理、法律和社會問題。

相對于“什么”的問題，其實“為什么”和“如何”的問題應該被放在優先位置考慮。很明顯，在一些自主系統的案例（如自動駕駛汽車）中，系統的自主性仍然沒有在包括普通公民在內的相關利益者之間進行適當的協商，卻被機構盲目接受。此外，在允許自動駕駛車輛在社會環境中進行測試之前，應該通過適當的衡量標準對ADS的可靠性進行機構評估。從這個角度說，優步車禍是一個社會實驗的結果，它是按照普通公民成為創新過程中的“現實世界的錯誤”的方式進行的。這種敘述主要顯示的是，從社會角度治理創新過程的失敗，以及機構對及時和充分應對新情況的相應阻力。

總的來說，我們可以從這個案例得出的教訓是，任何自主系統的部署都會在人類決策網絡實現的一階復雜性之上引入二階復雜性。因為自主系統將一個新的行為者帶入社會領域，其決定會影響人類的生活。在將這種額外的行為者移入社會環境之前，應該從倫理、法律和社會的角度對引入人工代理將帶來的后果進行適當的審查。在任何情況下，引進自主系統的決定不能完全委托給那些以增加利潤為唯一目標的私人公司。

在我們看來，發生在赫茲伯格女士身上的致命事故的主要原因是圍繞著創新過程的制度“空白”。它必須歸因于缺乏管理這類技術引進的社會機制。這種行為來自于制度上的一種不負責任，這是當今創新過程的典型，因為創新被認為必然帶來解放、自由和財富。自主系統的失敗可能取決于人工智能系統引起的偏見（風險），取決于人工智能系統的隨機特征（脆弱性），以及這些系統的突發行為（緊急情況）。然而，更多時候，取決于社會治理機制的缺失。在失敗的情況下，用戶或操作員通常被指責。例如，在赫茲伯格女士的致命事故中，安全駕駛員面臨車輛過失殺人的刑事指控，盡管在5級自動駕駛汽車的情況下，對人類操作者本身的相關性提出質疑是合理的。埃利什提出了“道德皺褶區”概念，以描述涉及自主系統的事故責任如何被錯誤地歸咎于對系統行為控制有限的人類行為者身上。正如在復雜的社會技術系統中經常發生的那樣，導致赫茲伯格女士死亡的原因是多方面的，指出一個問題只是對情形的輕描淡寫。

六、分布式的道德責任

人工智能解決方案涉及分布式的道德行動，這是基于人類和非人類行為者相互作用的網絡。這些行動也可以隨著時間的推移而分布，包括設計者、技術人員、開發者、企業家、監管者、用戶等的決定。由此看來，責任的分配是困難的，因為經典的倫理體系并不適合在不同地點和時間的多個行為者之間不透明分配的情況。此外，人工智能解決方案所促進或削弱的價值是在用戶實施該解決方案時動態產生的。這種特征是人工智能所特有的，而不是其他技術所特有的，因為正如上面提到的，人工智能系統，也只有人工智能系統在人類決策網絡所實現的一階復雜性之上帶來了二階復雜性，以至于人工智能引入了一個正在對我們日常生活進行決策的人工行為者。

幾個月前，哈佛大學伯克曼-克萊因互聯網與社會中心的研究人員進行了一項調查，將32套政策文件進行了比較，以便對來自政府、公司、倡導機構和多方利益相關者倡議的努力進行比較。在這32份文件中，有13份承認現有的法律規則無法完全應對人工智能的影響，并提出了通過反思倫理價值和原則來維護政府行為的道德完整性的指導意見。例如，當一輛自動駕駛汽車撞上行人時，會發生什么？是司機的錯嗎，他本來就沒有控制過車輛？是創建駕駛軟件的ADS公司的錯嗎？是汽車制造商、組裝和提供車輛的汽車制造商的錯？還是實現特定設備（如激光雷達系統、雷達傳感器系統等）和相應軟件的特定公司有錯，其故障導致了事故的發生？有大量的問題需要回答。再比如，我們應該如何處理保險？一旦司機取消了駕駛行為，將控制權交給計算機或自動系統，如何確定什么是安全駕駛與風險駕駛？還有，什么時候雙手完全離開方向盤、由車輛控制才算合法？是否應該限制人類在車內做什么？如果自動駕駛汽車必須在拯救你的生命或附近另一輛車的乘客的生命之間做出瞬間決定，它應該如何去做？想想這些問題，就很容易理解為什么其中的許多問題會讓最支持自動駕車技術的人也感到不安。

結論

我們應該停止把人工智能看成是一個純粹的技術問題。看待人工智能的正確方式，是把這種技術看成是一種“崩潰”，在這個意義上，傳統的存在于世界的模式被打斷，在我們的生活場景中多出了更多的行為者，正如我們在談到人工智能系統引起的二階復雜性時所說的。采取這種立場，可以讓我們能夠圍繞人工智能的限制和擔憂，探討社會治理的空白和適合處理這類故障的方法論的不足。正如馬瑞斯和斯塔克在2020年強調的，每當我們部署一個人工智能解決方案時，我們不僅僅是在社會環境中部署一個技術系統，還是通過將測試本身轉化為一種社會“崩潰”的形式，從而對社會的結構進行測試。人工智能系統是由我們設計、實施和使用的人工制品；當我們看到事情出錯時，我們有責任去觀察和譴責，去了解和告知，去重建和改進。由于責任鏈包括我們所有人（從研究人員到開發人員、政策制定者和用戶），我們都需要積極努力，為著手形成適當的社會法律治理而采取下一步措施，以確保人工智能技術對社會有益的發展、部署和使用。最后，倫理學家、立法者、社會學家和設計師、技術人員一樣，都是建設“有益于社會”的人工智能所必需的。

（來源：2021世界人工智能大會）