人工智能道德顧問的合理性反思

劉 星

道德心理學和決策心理學的研究表明，直覺和情感在大多數時候驅動著我們的判斷和決策，而其方式通常不能令人滿意。根據我們自覺的道德目標和原則，我們經常“不道德地”或至少以不道德的方式判斷和行事［1］（367-392）。很多時候，個體帶有錯誤的道德信仰、缺乏道德判斷的關鍵信息和道德偏見等原因，很容易得出錯誤的道德判斷，進而阻止個體作出正確的道德選擇。例如，假如你有遵守環保的道德承諾，所以你希望把杯子投放到正確的垃圾箱中，盡管你的道德承諾很簡單，但你通常無法根據自己的道德標準作出正確的選擇。可能由于你不確切知道杯子的材料，你經常把杯子丟到錯誤的垃圾箱中，而達不到自己的道德標準。你可能致力于社會公正或減輕動物痛苦，因此，你可能想購買正宗的公平貿易產品或正宗的散養雞蛋。但是，當你在超市時，你沒有時間和精力來收集和處理所需的所有信息，以便與你的原則保持一致。你可能會根據包裝上的圖像或顏色購買產品，同樣你的選擇達不到你自己的道德標準。各種各樣的例子都顯示出關于人類的簡單事實：我們通常無法作出符合自己的道德目標的選擇，尤其是當我們必須在短時間內或緊急情況下作出決定時。因此，情感和直覺的判斷通常會取代信息的收集、反思和計算［2］（170）。簡而言之，我們是次優信息處理者、道德判斷者和道德主體。

在本文中，我們描述了一種“人工智能道德顧問”形式，即一種基于道德標準的軟件，它將比我們的大腦更快、更有效地向我們提供道德建議。例如，我們告訴它要作出環境友好的選擇之后，它將告訴我們將空杯子準確丟到哪里；關心動物福利時，它將告訴我們要購買哪些雞蛋。更廣泛地說，它將幫助我們進行許多道德選擇，因為我們有認知局限性，我們很可能無法達到自己的道德標準。這種道德人工智能不僅可以在實際應用中使我們的判斷和行動與我們明確的道德目標更加一致，而且在哲學上也將是一種有趣的技術，因為它可以實現“理想觀察者”的準相對論版本，從而彌補人類道德動機及其實現目標之間的信息缺口，具有可及的現實基礎和應用價值。但是，由于個體道德判斷和道德行為的復雜性，以及情感和直覺等各種因素的角色和影響，在缺乏必要的信息解釋和合理性反思時，人工智能道德顧問也可能陷入倫理爭議，這是本文致力于解決的重點內容。

一、問題緣起：人工智能道德顧問與理想觀察者

1952 年，羅德里克·費斯（Roderick Firth）在論文《道德絕對主義和理想觀察者》中提出了著名的理想觀察者理論。經典的“理想觀察者”理論認為，與其他類型陳述不同，道德陳述是一位“理想觀察者”以某種方式作出反應的陳述，也即如果一個完全知情的、智力沒有缺陷的、有道德的觀察者認為該行為是正確的（該信念是合理的），那么在特定情況下，行為是正確的［3］（198）。費斯的“理想觀察者”的特征是：（1）對非道德事實無所不知；（2）全知全能（有能力同時可視、想象和使用所有信息）；（3）無私；（4）冷靜；（5）始終如一；（6）在所有其他方面正常［2］（170-172）。

理論上講，這種基于道德絕對主義的理想觀察者需要對非道德事實無所不知且無所不能，客觀、公正、冷靜且始終如一，而不是僅僅知道與道德相關的事實。這種理想的能力設置，導致理想觀察者只能存在理論層面，不具有現實基礎和應用價值。實際上，理想觀察者不可能是人類，有限的人類與理想觀察者相去甚遠，因為我們無法收集或使用所有相關信息，并且不能保持公正和不受情緒的扭曲或影響。

2015 年，朱利安·賽維勒司庫（Julian Savulescu）和漢納·馬斯倫（Hannah Maslen）在一篇題為《道德增強和道德人工智能》的文章中曾提出“道德人工智能”理論［4］（79-94）。在此背景下，2018 年阿爾伯托·朱比利尼（Alberto Giubilini）和朱利安·賽維勒司庫（Julian Savulescu）在《人工智能道德顧問：“理想觀察者”遇上人工智能》的文章中描述了一種基于道德標準的軟件，它比我們的大腦更快，更有效地向我們提供道德建議，幫助我們進行道德選擇，從而實現“理想觀察者”的準相對論版本，也即更好地接近“理想觀察者”的人工智能道德顧問（Artificial Moral Advisor，AMA）。

通常，此類技術基于環境智能，即一種主要通過“上下感知”起作用的人工智能形式。換句話說，它可以通過數字對自然的和用戶環境中的物理實體進行建模，并對相關信息進行持續的解釋和分類，從而對這些信息進行識別和理解，通過與人的交互進行響應，以定義和服務特定的需求。根據阿爾伯托和朱利安兩位教授的描述，AMA 能夠收集環境信息，依照我們的操作標準（道德標準，道德價值觀、目標和原則等）處理信息，提供道德上最好的建議，使我們能夠（幾乎）作出最佳的道德選擇，從而幫助人們根據自己的道德標準成為更好的道德主體［2］（172）。但與“理想觀察者”不同，AMA 不是道德絕對主義的理論建構，而是基于個體道德價值觀的操作系統，它致力于尊重并確定增強個人的道德自主權。

在此理論預設下，AMA 引起了道德理論家們的廣泛關注，褒揚和批評相伴而生。對AMA 的質疑主要有：它是否限制個體自主性從而妨礙道德自由？它是否引致道德增強從而挑戰人的“自然性”和人類尊嚴，包括“自舉問題”、違反直覺，以及是否導致道德相對主義？它是否影響個體意志和情感等因素從而擾亂行為主體道德責任判定？這些問題既是AMA 社會運用合理性反思的核心內容，也是其道德價值評判的重要參照。

二、人工智能道德顧問與道德自由

所謂道德，就是“以善惡評價為標準，依靠社會輿論、傳統習慣和內心信念的力量來調整人們之間相互關系的行為原則和規范的總和”［5］（221）。道德本質上是需要以人的社會關系為載體并致力于處理好人際社會關系的［6］（29-30）。自由是指具有自主行為能力的個體能夠自我決策，在給定情境中能夠不受內在外在因素強制，作出一種與既定選擇完全不同的選擇［7］（86-88）。從個體角度看，自由有行為自由與意志自由，意志自由是內在基礎而行為自由是外在表現。意志自由的首要環節是“能夠樂意”，也即能夠自我決定，當事人是自主的和自由的；行動就是達到意志設定目的的手段，行為自由體現意志自由，真實的意志自由總是邏輯地內涵一種行動設置［8］（10-12）。理論上講，意志與行動之間是連續性的，但是事實上，由于個體意志運行關涉到復雜的行為方式和內外環境，自由個體的信念、愿望的設定及其目標實現之間，卻并非總是連續的譜系。

道德自由問題實質是指個體自由的社會實現問題，其本質是行為自由也即道德領域或范圍內的有限自由。與此不同，道德自主是個體道德范疇內的自主和自控狀態，是道德自由的基礎。道德自由一定是道德自主的，但道德自主卻不一定是道德自由的，自主只表明道德主體求善棄惡的努力自控狀態，至于能否達到游刃有余、隨心所欲的道德自由高級境界則不一定［6］（22-27）。換句話說，意志自由奠定了行為自由，行為自由彰顯了道德自由，道德自由是道德自主的高級境界。

影響個體道德自主狀態的因素有很多。某些情況下，道德個體會不適當地行動或產生不適當的信念，因為他缺乏有關自身認知情境的重要信息，這些信息與個體彼時的行動信念高度相關。有鑒于此，我們將不能充分可靠地認定道德個體的行為都是道德的，并且我們通常無法作出符合自己道德目標的選擇。特別是在緊急情況下或短時間內，情感和直覺的判斷通常取代信息的收集、反思和計算。簡而言之，我們是次優信息處理者、道德判斷者和道德主體［2］（170）。在我們經常無法獲取理性或道德決策所需的所有相關信息的層面上，我們是次優的信息處理者。有時，由于我們沒有足夠的時間或認知資源，我們無法獲得這些信息；有時，我們掌握了這些信息，由于直覺和情感的影響，我們未能給予適當的判斷。例如，由于害怕某個結果發生，我們會認為它比實際更有可能發生。有時，即使我們可以根據所有相關信息作出最佳判斷，但意志或特定神經生理狀態阻止我們采取相應的行動。例如，我們的動機可能受到許多無法控制的生理因素影響，使我們變得激進或偏執，從而脫離應有的道德軌跡。因此，似乎設立一個全知全能的、公正無私的和始終如一的理想觀察者的角色，從而幫助個體化解道德沖突是十分必要的。

根據阿爾伯托等人的預設，AMA 可以向代理人提出一系列問題，以了解代理人的道德價值觀，并制定出適合該代理人的一套道德規則，這些規則可以用來提供個性化的道德規范與將來的建議。因而這種相對論的AMA 可能比專制的理想觀察者更可取［2］（175-176）。例如，當我想找到一家好的餐廳時，AMA 編程會詢問我是否要考慮任何特定標準（如動物福利、公平貿易等），從而為我提供一系列可能的道德標準與選擇。根據我的回答，AMA 還將記錄我的道德規則，并在將來為我選擇最合乎我的道德規則的餐廳。當然，每個主體都有不同的參數來指導AMA，并根據不同的道德標準選擇AMA 編程。因為人們對什么是“道德的”有不同的看法，因此，不同的AMA 會收集不同類型的事實信息，這取決于對事實的道德相關性的不同標準，如自由主義、保守主義、功利主義、道義論、混合論或其他。最終AMA 建議的呈現形式為：“如果這些是你的原則（如減輕動物痛苦），那么你應該做X（選擇特定餐廳）。”

當然，AMA 收集信息和道德運算的標準依據個體的自由選擇，AMA 所提供的建議能否被個體踐行、如何踐行以及踐行的程度，也取決于用戶的自主決定。通過AMA 軟件的建模和使用，我們收集足夠的認知資源，排除情感和直覺的影響，經過審慎的反思平衡，自主地堅持道德原則，從而使自己成為更好的道德主體。因此，AMA 可幫助人們突破“有限的存在者”的局限，在信息獲取、身體功能和思維方式以及現實環境和主體自身的限制方面，增強個體的道德自主性并保證其最大化的道德自由。

三、人工智能道德顧問與道德增強

研究表明，通過調節某些神經生理狀態包括情緒以增強人類的道德素養或認知能力是可能的，比如攝入催產素（Oxytocin）促進諸如信任、同情、慷慨等親社會態度；適度使用選擇性血清素再吸收抑制劑（SSRIs）能增強人的公平意識與合作意愿；通過深層腦刺激降低侵略性等［9］（47-49）。這種通過藥物手段或技術方法修正人的情感動機或認知能力從而達到道德增強目的的方法，被稱為生物道德增強。然而，道德增強一直招致反駁，理由包括人的自由、人格同一性、公正性和自然主義等方面。比如有人聲稱，人類的生物增強不能“不受限制地開放”，否則，我們將無法完全欣賞我們生命的天賦，因其損害了我們的真實性或者人類的尊嚴，無法保存人性價值包括人類的自然局限性。

道德增強的倫理爭議有兩種基本進路：第一是強調干預措施的預期結果，包括情感增強、認知增強或神經增強等干預措施，它們導致的增強結果是否可逆，是否附帶安全性風險，以及是否造成個體同一性和自主性的喪失等問題；第二是基于干預手段的內在錯誤，比如基因編輯和基因工程等技術手段，它們可能涉及“扮演上帝”或違背人性等問題。而作為實現道德增強目的的一種外部技術，在不涉及上述道德內部增強的相關爭議的情況下（下文另述），AMA 可能面臨以下三個逐漸遞進的問題：

第一，“自舉問題”。“自舉問題”是指，如果我們通過干預神經生理機制以提高個體道德能力，我們將沒有獨立的角度（參照）評估這種增強的成功性［10］（597-798）。AMA 涉及“自舉問題”的推理如下：首先，假如我們認為改變某些道德傾向會以不受歡迎的方式改變我們的道德心理，例如使我們過于功利或太富同情感，那么對道德判斷的持續監控和評價，以及控制道德傾向改變的能力是非常重要的。其次，AMA 的道德建議方式同樣發揮著對道德判斷的持續監控和評價，以及控制道德傾向改變的能力，并且這種能力可能導致個體神經生理機制的改變。最后，基于神經生理機制干預和改變基礎的道德增強后的個體，因為內省能力有限，因此可能無法理性地和客觀地評價某種道德傾向是否以期望或欲望的方式得到了增強，也即無法評估某種增強的成功性。

“自舉問題”本身符合邏輯推理，但據此針對AMA 道德增強的反駁卻存在以下問題：首先，作為提供道德建議的外部道德增強手段，AMA 與傳統的教育或學習工具（計算機）并無本質區別，在道德保守主義不反對通過傳統手段使人們變得更聰明或更道德的情況下，針對AMA 道德增強的攻擊或詰難需要提供更多的“舉證”或更充足的理由；其次，通過道德判斷的持續監控和評價，以及控制道德傾向的改變，AMA 可能導致個體神經生理機制的改變，但這種改變的效力和可能性與權威的“道德專家建議”殊途同歸，在可能性轉變為現實性前，針對這種“渺茫預期”的負面評判是蒼白無力的；最后，在暫且懸置AMA 道德增強的道德正當性評價的情況下，AMA 道德增強的效果評價或增強的成功性評價也并非僅僅依賴于個體內省，還可依據個體道德的縱向的前后對照評價以及橫向的道德他評等手段。綜上，有關AMA 道德增強的“自舉問題”詰難是站不住腳的。

第二，AMA 的建議違反直覺或過分要求。據推測，AMA 有時會帶來違反直覺的響應。AMA 旨在彌補我們的直覺和情感的道德心理的局限性，這是可以預料的，但在這種情況下AMA 將是無用的，因為人們不愿意認可或采取違反直覺的道德判斷［2］（179-181）。例如，如果我想以一種功利主義的方式變得無私，AMA 會經常建議我做一些我的直覺認為是過度屈服的事情，比如捐贈大部分財產，而這與我的道德原則或判斷方向是不一致的。

正如作者所言，AMA 的違反直覺的響應或道德建議會促進我們在直覺和建議之間取得平衡，達到“反思性平衡”，進而幫助人們突破“有限的存在者”或“次優的信息處理者”的局限，這正是它的優勢或價值所在。因為我們中的大多數人不能平衡不同的相互競爭的基本原則。例如，道德心理學研究表明，自由主義者和保守主義者的道德方法基于不同的直覺和情感基礎［11］（98-99）。

具體來說，反思性平衡有狹義和廣義兩個層面。從狹義上講，反思性平衡是指個體的判斷和基于某些道德觀點（如平等主義、功利主義或宗教觀點）的道德原則保持某種程度的一致性。從廣義上講，反思性平衡需要個體在不同的道德觀點之間取得平衡（比如功利主義與平等主義、功利主義與道義論、功利主義與宗教主義）［12］。AMA 的響應將是幫助個體達到反思平衡狀態的外部貢獻。更準確地說，AMA 違反直覺的響應會在動力學中引入新的元素，通過該元素我們可以平衡相關的判斷和原則。AMA 的違反直覺的響應會促進我們質疑自己的判斷和原則或者堅持的基本道德理論，通過審慎思考從而進行相關的調整，包括調整判斷和原則，甚至是改變道德觀點或AMA 的違反直覺的響應編程。

第三，道德相對主義危險。從認識上看，道德相對主義認為我們沒有普遍性和普適性的道德規范、道德原則甚至是道德體系，道德總是在特定的時代、社會、民眾和文化中才是確定的和有效的，不存在普遍有效的和必不可少的道德規范與道德價值，因此沒有合理的方法來解決或評價不同文化的道德習俗所產生的根本道德分歧［13］（23）。AMA 的編程或操作標準依賴于用戶的道德價值觀及自主選擇，因此無論用戶是圣人還是精神病患者，是利己主義的還是利他主義的，AMA 都將為其同樣有效地工作。但鑒于道德多元化和同一道德價值的理解差異，AMA 輸入的操作標準對相同社會的不同個體而言，或不同社會文化的不同群體而言，其道德正當性是不同的。因此AMA 需要處理三個最基本的問題：

首先，不道德目標的執行風險。如果用戶利用這種技術來追求邪惡的或不道德的目標，AMA 如何執行？作者認為，AMA 致力于為我們調整原則和判斷作貢獻，在操作標準編程時接受盡量廣泛的道德標準，同時使用基本的“道德過濾器”以限制作為輸入的操作標準范圍，比如相互尊重、寬容、保護人的生命等，無論某些人或道德體系是否承認這些基本原則，他們都將得到執行［2］（180-182），從而確保基本的底層原則之上的個體自由的道德選擇，換句話說，即使個體沒有對道德的基本承諾，AMA 也不會使其更加不道德。

其次，道德規范的優先性問題。因為沒有普遍性和普適性的道德規范、道德原則甚至是道德體系，道德總是相關于特定的時代、社會、民眾和文化，因此在設定AMA 時，不同個體將會面臨道德規范的選擇以及如何權衡不同道德規范的優先性的問題，原因如下：（1）不是所有人都有基本的道德承諾，他們在選擇AMA 編程的不同道德標準時可能面臨困境，例如利己或利他等；（2）即便某些人擁有基本的道德承諾，選擇了特定道德標準的AMA，依然會在不同民眾和文化中因道德規范的相對性而面臨道德規范的執行困境。針對這個反駁，筆者認為道德相對主義是AMA 不可否認的立場，我們暫時不需要思考道德相對主義的對錯問題。在AMA 編程設計時，我們會通過提問的方式確定適用于個人的道德守則，可以咨詢一些道德專家以確保它的建議始終符合這些基本的道德原則；通過顯示行為的全部后果和影響來促進這種道德守則，同時也提供替代的行動路線或道德價值觀的建議。在更完善的版本中，AMA 可以被編程來提供不同情況下道德模范或領導者選擇了什么，努力接近理性的主體間性；AMA 甚至可以結合個體的道德和心理來促進更客觀的道德規范的發展，理想情況下它可以充當道德顧問，甚至是勸導者。也就是說，AMA 可以判斷個體基本的道德守則，并在不同情況下給予道德建議，甚至充當道德顧問和勸導者，但它不會威脅個體的道德理性和道德權威。

最后，道德沖突的權威判定。道德相對主義認為，當不同文化的根本道德原則發生沖突時，我們沒有客觀的標準可以用來判斷它們的優劣，也沒有辦法對它們的權威性或合法性進行客觀的辯護［14］（12）。按照道德相對主義的理解，即使AMA 采用并促進了個體的基本道德承諾，它也無法為個體面臨的可能道德沖突提供客觀的判斷和辯護。筆者認為，這種反駁對AMA 要求過高且不符合它的功能定位。人類擁有豐富的道德生活，并且有實施高尚行為的能力，AMA 不會篡奪或超越人類的道德權威，它只致力于尊重并切實增強個人的道德自主性。道德相對主義不承認任何道德原則都是有效的和真實的，也與共同體成員間的契約形式的道德體系不同，但在實踐層面我們需要關注的是人們的行為的約束性，有無客觀的道德標準都無法拋開對人們行為約束的實用性或政治性目的，因此，我們最高的目的是規范不同人的共同生活，這并不需要基于元倫理學的道德規范的客觀性考核。

四、人工智能道德顧問與道德責任

傳統的道德責任理論通常認為，道德責任的必要前提是個體自由，特別是個體的意志自由。“只有當我們的行動在某種意義上是自由的行動時，我們才能說對我們自己的行動負責。”［15］（10-16）因此，道德責任的充分賦予是以一個人的行動是否自由為條件并以其意志是否自由為前提的。在現實生活中，意志自由并非一種完全不受任何限制的絕對自由，它有時由主體的身體、心智能力等決定。“事物有存在條件就必有依賴性，主體的大腦結構、身體功能、思維方式、行為方式、親身經歷、信息獲取等，都直接限制甚至規定著主體的意志的形成。”［6］（24）主體自身既有的物質條件和精神狀況影響和限制著大腦活動。因而與AMA 相關的個體道德責任判定問題，則主要取決于它對個體的行動和意志發揮作用的三個方面。

第一，AMA 對意志的作用。道德作為一種社會現象，是社會個體應對現實限制的一種智慧選擇。人作為道德行為主體，其承擔道德責任的關鍵是擁有意志的完全自由狀態，這是傳統道德責任判斷的基本預設，其前提是意志等同于個體理性。但研究表明，理性不同于意志，理性是一種穩定的思維能力，而意志包含理性、情感、無意識和潛意識等內容。理性與價值相互交融，理性的深思往往關聯著價值的關懷，理性的認知往往負載著價值的評估［16］（102）；而意志會受到許多無法控制的生理因素的影響，比如，通過調節某些神經生理狀態包括情緒等影響人類的意志能力是可能的，對此上文已有詳細論述。因此，意志既包括自由彌散的心智狀態，也包含穩定的理性思維能力。從AMA 對意志的作用而言，關鍵的問題是AMA 是否能夠影響個體意志狀態，同時這種作用或影響是否被社會允許或認同。研究表明，通過道德判斷的持續監控和評價，以及控制道德傾向的改變，AMA 可能導致個體神經生理機制的改變，從而影響個體意志狀態［2］（177-179），但這種作為提供道德建議的外部道德增強手段，并不會直接干預并左右大腦內部神經生理機制，與“道德專家建議”、傳統的教育以及自主學習的外部潛移默化的培育并無本質區別，應得到傳統教育同等的價值認同和對待。因此，從AMA 對個體意志的影響尤其在這種作用方式的倫理正當性方面來看，AMA 對個體道德責任的判斷和歸因并不應導致額外的爭議，更不會提供道德責任評判免責的正當依據。

第二，AMA 對理性的影響。道德責任是對道德行為主體自主性和創造性能力的一種要求，這種自主性和創造性能力是道德主體理性能力的具體表現，因此相對于意志自由，理性更應成為道德責任評判的合理依據。同樣地，對于AMA 而言，關鍵的問題是AMA 是否能夠影響理性，這種作用或影響是否應當被社會允許或認同。根據上文論述，AMA 旨在彌補我們的直覺和情感的道德心理的局限性，AMA 有時會帶來違反直覺的響應，而這種違反直覺的響應或道德建議會促進我們在直覺和建議之間達到“反思性平衡”。換句話說，AMA 違反直覺的響應引入了新的思考元素，促進我們質疑原有的判斷和原則，通過審慎的理性思考和評估而實現反思性平衡。總之，AMA 提供了個體實現反思性平衡的外部貢獻，這種理性思索的養料供給并不影響個體的理性自由和自主決策。因此，AMA 對理性的影響同樣不影響個體道德責任評判和歸因。

第三，AMA 對情感的考量。事實上，情感和直覺驅動著我們大多數的道德和實踐決策，大多數人的實際判斷都基于“影響啟發”，即直覺和情感上的快速反應。通常情況下，情感被認為在人類道德中至少發揮兩項重要的功能：第一項是道德評價功能，在休謨主義者看來，相信某事在道德上是對的還是錯的，歸根結底是贊成或不贊成的情感態度；第二項是道德動機功能，情感對于道德動機是必要的，它在道德判斷和道德行為之間提供了不可或缺的聯系［2］（183-185）。例如，腦損傷患者顯著地缺乏某些情感（同情、羞恥、內疚、悲傷）的矯正功能，他們對于適當的社會行為有足夠的知識，但卻不會按照自己認可的應當去行事。

誠然，情感對于道德的促動是必要的，是道德體系的重要組成部分，這是AMA 無法替代的。但是，使情感和直覺成為我們實際的與道德的判斷和決定的重要組成部分的特性（自動性、不依賴于認知資源、最小化精神努力等）也使情緒和直覺不可靠，因為情感和直覺通常也是偏見和其他類型的非理性和不道德判斷的來源，它們使我們成為“不良的信息處理者”“不良的道德判斷者或不良的道德行為者”。情感狀態的這些可能的扭曲影響，使我們不僅無法接受看似合理的道德判斷，而且也無法據此采取行動。

如何在保持情感的積極作用的同時避免其負面影響，提高個體道德能力以增強道德，成為提升個體道德水平的緊迫需求。根據AMA 的編程設計，AMA 是客觀的，不受情感影響，僅執行不需要情感作用的認知功能（收集、建模、解釋和處理信息等）。鑒于情感和直覺在人類道德決策中的局限性，獨立于情感的扭曲影響是AMA 的目標之一，也是人們選擇AMA 的重要原因。與此同時，基于情感在道德中發揮的重要作用，從情感上獨立也是AMA 最受批評的原因之一。但是，獨立于情感的編程設計并非不考慮情感的積極作用和實際價值。參照情感在人類道德心理學中的兩大作用，AMA 將發揮相應功能：其一，對于復雜的推理和計算，我們沒有足夠的時間和腦力資源，AMA 將提供“真實的東西”——信息處理、計算、預期效益的權衡等，從而為個體提供最優的“啟發式”建議；其二，避免情感無意識的自動的道德評判牽引，提供客觀的合理的道德建議［2］（180-182）。在某些情境中，在有意識的反思之前，情感會自動將我們的注意力吸引到道德相關的方面（例如，厭惡可能會將我們的注意力吸引到反社會行為上，像在公共場合酗酒或違反公序良俗等），如上所述，情感執行的這種活動方式不可避免地是次優的。根據已有的軟件中的情境建模和分類，AMA 會立即指出特定情境中的道德相關方面，從而執行相同的更優的道德評判（道德建議）功能。例如，AMA 與情感和神經生理檢測技術集成，搭建“環境輔助的情緒調節系統”，監視神經生理狀態（異常或威脅狀態），以使我們意識到情感的可能影響，從而協助我們更好地進行道德判斷和行動。綜上所述，對于道德判斷的啟發式影響，AMA 與情感發揮著同樣功能卻提供了更優的客觀真實的道德建議，AMA 編程在情感方面的獨立設置，包括情感異常或威脅狀態的提示，旨在提升個體自我控制和決策能力以增強道德，同樣不影響個體道德責任評判和歸因。

結語

無論是功利主義者還是義務論者，抑或其他任何道德理論的支持者，在面對復雜情況下的行動決策時，都可能出現困難和疑惑。作為有限的人類，我們不能確定已經得到了客觀而正確的答案，這并不奇怪，也不是理論的缺陷。由于道德判斷的高度復雜性以及情感的影響，人類始終服從直覺的命令可能是愚蠢的。在復雜的情況下，作為人類并不總是能夠肯定地選擇正確的行動，這只是我們有限的認知和情感能力的反映，也是客觀事實［17］（362）。作為人類，我們應該了解并認識到，是什么決定了我們的道德能力和判斷水平，主要的影響因素是什么，如何排除影響并提升道德自主性和道德水平。

人類擁有令人難以置信的豐富的道德生活，并且有實施高尚行為的能力，AMA 不會很快篡奪或超越人類的道德權威。作為“理想觀察者”的準相對論版本，AMA 將收集與道德相關的信息進行處理并根據用戶道德目標返回道德建議。AMA 能夠增強個體的道德自主性并保證最大化的道德自由，其方式有望比生物道德增強技術更加有效且爭議較小；AMA 旨在彌補我們的道德心理的局限性，幫助我們達到“反思性平衡”；AMA 在信息處理、計算、預期效益的權衡等方面將提供客觀合理的道德建議，從而避免被情感的無意識的道德評判牽引。總之，我們應該承認自身的道德局限性并利用自身的人工智能的編程長處，拋棄傳統固有的對新興技術的刻板的警惕，利用強大的認知能力以更加開放的姿態開發技術來“克服我們的局限性”，從而全面開發并實現我們作為道德主體的潛力。