情感計算的應用困境及其法律規制

王祿生

內容摘要：在人工智能的視域下，情感計算是感知、識別、模擬、影響人類情感狀態的各類智能技術的統稱。盡管該技術已經在醫療、教育、商業、就業、執法等領域獲得應用，但仍然面臨法律、倫理與技術的多維困境。從法律上看，情感計算的應用可能與個人信息權、隱私權、人身自由權等形成沖突;從倫理上看，情感計算的終極目標與道德哲學領域對情感自主性的強調不相兼容;從技術上看，情感計算仍然面臨著基礎理論與實際成效的質疑。為了推動情感計算應用的良性發展，需要從兩方面展開法律規制：一是以“輕推”為限度，調和情感自主性與情感計算終極目標之間的張力;二是以風險為基礎，按照比例原則對不可接受、高風險、中風險和低風險四類應用實施從完全禁止到行業自律的不同規制。

關鍵詞：情感計算 情緒識別 情緒智能 人工智能 比例原則 法律規制

中圖分類號：DF0? 文獻標識碼：A? 文章編號：1674-4039-（2021）04-0049-60

近年來，情感計算技術越來越多地走進公眾的日常生活。商店使用情感計算來感知客戶的情緒與興趣、學校使用情感計算衡量學生在課堂的快樂程度與參與程度，雇主使用情感計算評估求職者的情緒反應并監控員工在工作時的面部表情。隨著情感計算應用的日益擴展，公眾對情感計算的態度開始悄然轉變。大致以2019年為轉折點，域外在倫理、技術和法律層面對情感計算的批評以及要求強化治理的呼聲日益高漲。同年召開的情感計算會議ACII首次增加了關于情感計算技術濫用的專題研討。〔1 〕2021年4月21日歐盟委員會向歐洲議會和歐洲理事會提交的《關于人工智能（人工智能法案）的協調規則和修改某些聯盟立法法案的條例的提案》（以下簡稱《歐盟人工智能協調規則的提案》）第52條明確規定“情緒識別系統”使用者的告知義務。同時，按照該提案，情感計算的諸多應用屬于“高風險”應用，需要接受從“搖籃到墳墓”全生命周期的嚴格監管。

我國是世界范圍內情感計算技術最為主要的研發與應用國之一。人臉識別、語音識別等感知智能技術的大面積應用為情感計算技術在近年來的迅速發展鋪平了道路。目前，我國情感計算領域的發明專利申請數接近1200項，其中67%是在2018年之后申請，僅2020年的申請量就接近總量的1/4。〔2 〕在情感計算的技術譜系中，情緒識別是最為重要的領域。有媒體樂觀估計僅“多模態情緒識別技術”的市場可以達到千億元人民幣的量級。〔3 〕良好的發展前景吸引了企業的投入，目前直接帶有“情緒識別”業務標簽的企業達到43家，相關企業各類“情緒識別”的軟件著作權、專利為757項。〔4 〕實踐中，情感計算已經在我國教育、交通、醫療、執法等多個領域投入應用。該技術在我國的迅猛發展態勢引發了多個域外研究機構的關注，其中不乏尖銳的批評之聲。相較迅猛發展實踐而言，我國法律界對于這一技術的關注尚不充分，因此有必要對其技術邏輯、實踐應用、現實困境和法律規制等重要方面展開專門探討。

一、情感計算的技術邏輯

（一）情感計算的概念厘清

由于技術發展路徑的多元屬性，“情感計算”及其相關概念層出不窮，并在內涵與外延上具有不確定性。除了情感計算之外，與之密切相關的概念還有情緒識別、情緒智能、情感識別等。與此同時，在諸多文獻中，“情感計算”還廣泛地與人臉識別、語音識別、人工智能等各類技術交叉混用。對于公眾而言，可能會直接產生如下疑問：情感計算都是人工智能技術嗎？情感計算中的“情感”與情緒識別中的“情緒”具有同一指涉性嗎？“計算”和“識別”是不同的過程亦或是同一行為的不同表達？人臉識別、語音識別與情感計算之間是何種技術邏輯關系？因此，在展開正式論證之前，有必要對本文“情感計算”指涉的內容作一個必要的交待，以便不同背景的參與者能夠在同一基礎上展開討論。

一般認為，情感計算由羅莎琳德·皮卡德在1997年正式提出，意指“與情緒或其他情感現象有關的、產生于或有意影響情緒或其他情感現象的計算”。〔5 〕從語詞原意來看，“情感”包括“情緒”“心情”兩個部分，前者主要是短期的，可以通過表情來體現，如憤怒、恐懼、悲傷、愉悅、惡心和驚喜;后者則具有一定的延續性，比如好心情、壞心情。所以，“情感計算”實際上是一個寬泛的概念，它包括任何與個人情緒、心情狀態相關的計算機程序。從這個意義上說，“情緒識別”是“情感計算”的有機組成部分。情感計算產生之初并非都與人工智能有關。測謊儀的工作原理就是一種情感計算，即通過儀器對呼吸、血壓、脈搏等信息進行監測，并分析其對應的緊張、恐懼、焦慮等情感狀態，進而判定受測者是否說謊。隨著人工智能技術的發展，情感計算日益與AI結合。典型的比如“AI+情緒識別技術”之后形成的“情緒智能識別技術”。該技術利用人臉識別、語音識別等“遠程生物特征識別系統”提取表情、語音、步態、姿勢等各類生物特征信息，從而識別對象的情緒狀態。也正是在這個意義上，情感計算技術與人臉識別等感知智能技術產生關聯——后者是前者進行情緒識別的前置技術環節。可見，按照嚴格的標準，情感計算并不必然采用人工智能的路徑。不過，在人工智能泛在和泛化的發展趨勢之下，情感計算通常被視作一種人工智能技術。舉例而言，《歐盟人工智能協調規則的提案》第3條給“情緒識別系統”的定義就直接與人工智能關聯——一種人工智能系統，用于根據自然人的生物特征數據識別或推斷自然人的情緒或意圖。事實上，近年來對情感計算技術的諸多批評也主要集中在人工智能的技術框架內（如人臉識別）。筆者正是在人工智能的視域下探討情感計算技術，意指感知、識別、模擬、影響人類情感狀態的各類智能技術的統稱。

（二）情感計算的技術路徑

情感計算在技術邏輯上與人工智能技術緊密綁定，大致可以分為感知、識別、模擬、影響四個環節。〔6 〕具體而言，情感計算的第一步是通過各類傳感器實現對自然人各類生物信息的“感知”，這種感知可以通過非接觸式的遠程識別的方式實現（如攝像頭、話筒），也可以通過接觸式的傳感器實現（比如血壓儀）。現階段情感計算在感知階段的數據源具有多樣性，主要是聲音、表情、肢體語言、姿勢等各類生物信息。〔7 〕人臉識別、語音識別等感知智能技術的成熟為情感計算的“感知”環節提供了扎實的支撐。在完成各類信息感知的基礎之上，情感計算技術進入“識別”環節。“識別”要借各類情感識別模型。現階段，識別模型的生成主要采用有監督深度學習的方式。具體而言，就是依托各類基本情感理論，人為地將特定的生物信息與情感狀態關聯。在實操層面即通過人工標注，為各類“提取特征”添加情感標簽，如語速快速、響亮可能對應恐懼、憤怒或喜悅的情感狀態，語速緩慢、低音調則可能對應疲勞、厭倦或悲傷的情感狀態。〔8 〕在完成了足夠多的標注之后，深度學習技術（包括但不限于卷積神經網絡CNN、遞歸神經網絡RNN、區域候選網絡RPN）可以通過模型訓練形成與各類自然人生物信息特征相對應情感的識別模型。這種典型的大數據智能范式也被稱作“鸚鵡（學舌）模式”，也就是不斷為人工智能“填喂”大量做好標注的“語料”，人工智能在學習足夠多的情感“語料”后就能總結規律，逐步形成特定情感狀態的識別模型。在此基礎上，當有新的聲音、表情等生物信息進入系統后，系統可以根據情感識別模型進行識別。從本質上看，情感識別模式的運作機理是對各種情感的概率分析。因此，該過程更大程度是一種“計算”而非真正意義的“識別”，或者說“識別”是通過“計算”的方式實現。

當然，“識別”只是初級的應用。按照皮卡德對“情感計算”的原初定義，該技術實際上分為三類：“與情感相關的計算”“產生于情感的計算”以及“有意影響情感的計算”。換言之，該類技術的終極目標是在“識別”基礎之上使計算機具備“模擬”自然人情緒的能力，并且能夠根據不同情境采取相應策略來“影響”自然人的情緒。也就是讓機器具備情感智能，能夠以最佳的方式識別和調節（自己或他人）情感的能力。〔9 〕從這個意義上說，“識別”只是“情感計算”技術邏輯中的有機組成環節。以情感計算領域潛在的應用機器人教師為例，在理想的設計方案中，機器人教師可以通過視線、瞳孔大小、語氣、韻律、姿勢甚至是皮膚電導、肌肉電位、心血管測量、腦電位等感知對學習者的情感狀態進行識別，如興趣水平、動機、理解力、熱情以及學習中被認為重要的其他因素。在對學習者回應時，機器人教師可以保持眼神交流，并改變自己面部表情來提供反饋。〔10 〕此種設想就涵蓋了情感計算中感受、識別、模擬、影響的所有流程。

二、情感計算的應用觀察

情感計算應用的實質是通過感知、識別、模仿和影響人們的情感狀態來更好地作出決策、提供服務、提升幸福感。〔11 〕主流應用有兩類：其一是情感計算的結果作用于被識別者本人，通過改變其情感狀態而治療疾病、提高體驗，典型的例子是利用情感計算治療自閉癥;其二是情感計算的結果作用于被識別者之外的第三人，提供各類決策輔助，比如在招聘環節使用情感計算。當前，情感計算技術正在被迅速商業化并在醫療、教育、商業、就業、執法等領域獲得應用。

（一）醫療領域的情感計算

許多心理和生理狀況，包括自閉、抑郁和中風，都會影響理解、控制或交流情感的能力。情感計算已被用于評估和治療各種疾病，并改善與情感有關的交流。一家名為Affectiva的公司開發了一款“谷歌眼鏡”式的設備，可以幫助自閉癥患者解讀與他們互動的其他人的社交和情感線索。〔12 〕還有研究人員通過腦機接口和熱像儀，根據人體檢測到的數據進行情緒分析，并用以輔助治療自閉癥或抑郁癥患者。〔13 〕除此之外，醫療情感聊天機器人也被認為具有廣泛的應用前景。所謂的醫療情感聊天機器人其實是一種包含信號分析和自動語音識別、語義分析和對話策略、響應生成和語音合成組件的自主系統， 〔14 〕可以使用情感計算技術與病人進行交互，以檢測情感，確定并模擬情感答案。

（二）教育領域的情感計算

在教育領域，利用情感計算技術，計算機可以通過面部表情的識別來判斷學習者的學習狀態。與此同時，該技術還可以讓教師了解學生的內心感受，從而制定更具個性化的教學方案。隨著在線教學的日益擴展，情感計算被認為可以提升師生互動質量，改善因為缺乏傳統課堂學習氛圍而導致的厭學情緒。〔15 〕總部位于波士頓的BrainCo公司正在研發一種頭帶，通過檢測大腦活動來監測和量化學生的注意力水平。〔16 〕實際上，我國智慧教育建設中對情感計算的使用已經走在世界前列。浙江部分中學推行的“智慧課堂”項目可以通過教室前端的三個攝像頭識別七種情緒（恐懼、快樂、厭惡、悲傷、驚訝、憤怒和中性）和六種行為（讀、寫、聽、站、舉手、趴在桌子上）。〔17 〕系統每隔30秒會進行一次掃描，實時分析出學生們在課堂上的狀態。〔18 〕新東方推出“AI雙師課堂”可以通過“慧眼系統”對每個學生的面部進行情緒識別，除了可以識別學生是否認真聽講，還可以辨別出“高興、悲哀、驚訝、正常、憤怒”等情緒，老師可根據學生的情緒表現，掌握學生對于課程內容的真實反饋，以對教學內容作進一步精煉與提升。〔19 〕

（三）就業領域的情感計算

就業領域情感識別的使用也出現了激增，在求職者或員工不知情的情況下進行工作能力判斷。HireVue和VCV等公司提出對求職者進行“勇氣”等品質的篩選，并追蹤他們微笑的頻率。〔20 〕其中HireVue開發的系統利用求職者的電腦或手機攝像頭分析他們的面部表情、用詞和說話聲音，然后根據自動生成的“就業能力”得分將他們與其他求職者進行排名。據稱已有超過100家雇主使用該系統，其中不乏國際知名企業，并且已經對100萬名名以上的求職者進行了分析。〔21 〕此外，根據韓國經濟研究所（KERI）的數據，該國排名前131位的公司中有近1/4正在使用或計劃使用AI進行招聘。〔22 〕

（四）商業領域的情感計算

商業領域的情感計算應用旨在根據情感的識別為顧客提供更為優質的服務。2019年8月，亞馬遜宣稱其Rekognition面部識別軟件可以評估包括恐懼在內的8種情緒。零售是該軟件潛在的應用場景，商店可以通過該軟件分析購物者的實時圖像，以檢測情感，進而有針對性地提供服務。〔23 〕Kairos公司也推出一款銷售視頻分析攝像機，聲稱可以檢測人臉，并將其歸類為憤怒、恐懼和悲傷的情緒。Kairos主要向賭場、餐館、零售商人、房地產經紀人和酒店行業銷售該產品，并承諾將幫助這些企業了解其顧客的情感情況。〔24 〕情感計算還被應用到聊天機器人之中，Cogito和Empathath兩款程序就使用語音分析算法監控客戶的反應，并在他們聽起來很沮喪時向呼叫專員發出信號，以提醒專員轉變對話策略。〔25 〕中國公司EmoKit通過語音采集數據，根據音頻、音色、音調等數據輸出人的情緒類型。EmoKit產品正式在一家金融機構的線下門店和APP上線，用以評估用戶騙貸的可能性，作為其風控的最后一個環節。〔26 〕2019年長城汽車宣布推出“智能安全系統（Collie）”，包括情感識別的功能，當該系統檢測到司機“憤怒”時會自動播放更歡快的音樂。〔27 〕

（五）執法領域的情感計算

情感計算也開始應用于邊境檢查、案件偵查等執法領域，利用對不特定公眾情緒的識別，發現異常情況、鎖定嫌疑人。例如，美國和英國的警察正在使用檢測軟件Converus，該軟件通過檢查眼球運動和瞳孔大小的變化來識別潛在的欺騙行為。〔28 〕iBorderCtrl是在匈牙利、拉脫維亞和希臘試用的一種預先篩選的人工智能系統，它的攝像頭在游客回答邊境安全人員的問題時，掃描識別臉部表情以發現可能撒謊的人員。〔29 〕中國在各地推動的智慧城市和智慧司法建設中也開始采用情緒識別技術。比如，“阿爾法鷹”的情感計算技術基于前庭情感反射理論，通過攝像頭采集的人體面部視頻流，分析頭部和頸部微小肌肉振動的頻率和振幅，計算出個人壓力、侵略性和焦慮度等參數，甄別有自體原發性焦慮緊張狀態的潛在可疑危險人員以輔助安檢人工排查。〔30 〕還比如，“靈視多模態情緒研判系統”通過非接觸式的視頻對話，發現測試人的實時情緒，針對特定關鍵問題的情緒變化，采集包含微表情、微動作、聲強、心率與體溫五種模態，集合在審訊場景下的定制化算法，可以挖掘被訊問人對相關問題的反應程度，掌握被訊問人心理和生理反應，用以突破其心理防線，獲得供述。〔31 〕又比如，“太古人工智能”推出的“無感知情緒監測分析系統”主要面向審訊場景，結合視頻圖像處理、并行計算、深度學習等技術，采用非接觸的生理信號采集、微表情識別方法，保證在對象無感知的基礎上建立量化情緒模型，實現情緒監控和分析。〔32 〕

三、情感計算應用的多維困境

（一）情感計算應用的法律問題

情感計算與人臉識別等知名的生物識別應用不同，后者旨在識別個人，而前者則是在識別個人的基礎之上進一步推斷一個人的內在情緒。因此，情感計算的應用會對公民基本權利造成不成比例的風險。

首先，由于與人臉識別等感知智能技術在邏輯上具有前后承接性，情感計算技術的應用將直接與個人信息的諸多權能形成沖突。〔33 〕一方面，正如本文第一部分提及的那樣，情感計算技術的研究與應用需要借助大量信息，尤其是生物識別信息。如果這類基礎信息可以單獨或者結合其他信息與個人身份關聯，則符合我國現行法律規范中的“個人信息”。另一方面，從基礎信息轉換而來一類新的信息——情感信息，如果與特定個人身份相關聯，則仍然構成“個人信息”。此時，相關應用在收集和處理上述信息時可能與個人信息保護的相關規范形成直接沖突。現階段絕大多數情感計算應用并不會明確告知被識別者該應用具有情感識別功能，也不會將情感識別的結果告知被識別者，由此被識別個人的知情權、刪除權、更正權將受到直接侵犯。

其次，情感計算的應用還可能對個人隱私權形成直接的侵犯。眾所周知，情感是一種個人的內在感受。對于一般公眾而言，控制情緒使其不輕易呈現是重要的社會規則，尤其是內疚、沮喪、恐懼、焦慮等負面情緒。在特定的情形下，人可能需要呈現一種虛假的情緒，典型的如“善意的謊言”。同時，情感狀態的完全暴露還可能會讓一個人更容易受到傷害。因此，情感信息尤其是個人不愿意外露的情感帶有敏感和私密的性質。按照我國民法典第1032條第2款規定，隱私是自然人的私人生活安寧和不愿為他人知曉的私密空間、私密活動、私密信息。公眾不愿意外露的情感狀態就屬于不愿意為他人知曉的私密信息。情感計算技術的引入具有極強的“侵入性”，大大超出了公眾在公開場合期望保持個人情感隱私的預期。盡管基于明顯表情推斷情緒可能不足以上升到“窺探”隱私的程度，但微表情或者因刺激而短暫出現的面部表情則是非自愿的情感泄露（暴露真實的情感）， 〔34 〕具有明顯的隱私意涵，更不說借助面部血流、瞳孔擴張等更加細微的表征而完成的對情感的“刺探”。按照民法典第1033條的規定，除了“法律另有規定或者權利人明確同意外”，其他侵犯隱私的行為不具合法性的。對于情感隱私的侵入性獲取如果沒有獲得權利人的明確同意，則具有侵權的可能。

再次，情感計算的應用還可能間接地對人身自由產生負面影響。民法典第109條規定，自然人的人身自由受法律保護。人身自由包括身體自由和精神自由。后者是指自然人按照自己的意志，在法律規定的范圍內自主思維的權利。情感計算應用的重要假設是可以推斷內心的真實情感，并應當以此為基礎作出決策。人們可能會為了避免讓自己的情感被定義為“危險”“可疑”“注意力不集中”而被迫作出符合“良好”情感標簽的生理表達。如果情感計算能夠準確識別并呈現每個人實時的情緒，那將很可能給公眾帶來不必要的壓力，讓人無法自由地思想，并處于時刻在監控之下的恐懼之中。

最后，情感計算的部分應用還與人格尊嚴、平等保護等形成沖突。本文第二部分提及的在智慧招聘和智慧課堂推行過程中，通過情感計算，將受聘人群劃分為“高情緒控制力”和“低情緒控制力”，把學生區分為“精力集中”“精力不集中”，這種帶有價值導向的分類無疑對人格尊嚴形成侵犯。更為重要的是，相關情感計算應用實質上需要根據計算結果對不同分類的人群采取差異化、個性化的策略。考慮到后文將會詳細論及的情感計算的諸多技術瓶頸，此種差異化對待的理由正當性存疑，可能對特定人群形成歧視。

（二）情感計算應用的倫理沖突

情感狀態與人類價值和情緒緊密相連，尤其在道德判斷中至關重要。此外，情感在人類生活中起著核心作用，它在人際關系、形成群體并在決策和推理中發揮重要作用。它是人類與社會互動的基本方式之一。〔35 〕對于情感計算相關倫理問題的討論實際上與道德哲學息息相關。由于情感計算關注的是人類的情感，并在技術邏輯上以影響人的情感為最終目的，而情感問題又與倫理在多個層面錯綜交織。這就使得情感計算應用除了面臨各類法律問題外，還面臨一系列倫理挑戰。

其一，基礎倫理學高度重視人類情感，影響情感的情感計算技術被認為會影響人的道德標準及自由意志。在經驗主義倫理學中，情感被視為道德判斷的根源。大衛·休謨和亞當·斯密等人認為，所謂的錯事，就是一種我們“道德情感”無法接受的狀況;在功利主義倫理學的視野中，基本的道德義務是使幸福感最大化。換言之，情感是我們成為道德人的核心。在上述將情感視作道德基石的哲學流派看來，情感計算應用在影響了情感的同時也就影響了人類的道德標準。與基于情感的道德理論相比，康德認為道德的基石是根據理智原則來行使自由意志。情感計算因為可能影響情感進而影響自由意志，因此具有深遠的道德意義。〔36 〕在這個角度上看，情感計算影響情感的嘗試就顯得“不道德”。

其二，實用倫理學對“善意”“不作惡”“誠實守信”的基本要求也可能與情感計算的應用形成潛在沖突。與基礎倫理學相比，實用倫理學更接近常識系統，也更容易促進共識。實用倫理學中的關鍵原則，諸如“忠信/誠實守信”“不作惡”“善意”“己所不欲，勿施于人”同樣成為批判情感計算“不道德”的重要工具。在公眾視角中，情感計算可以通過遠程方式“窺探”公眾的情緒并加以運用。〔37 〕此外，智慧教育中對情感計算的應用雖然使得根據學生情緒進行定向化教育成果可能，但這種情感識別可能會侵犯學生的隱私，并為使用情感數據來操縱學生提供可能;執法領域使用情感計算可能會讓監管者獲得關于員工情緒穩定性和壓力耐受性的敏感信息。〔38 〕這些很可能被視作“非善意”“己所不欲，反施于人”，因此在倫理上不被接受。與此同時，情感計算的部分還在倫理上與“欺騙”關聯。在電子隱私信息中心（EPIC）向美國聯邦貿易委員會（Federal Trade Commission）對HireVue的指控中，明確認為該系統使用未經驗證的人工智能系統來掃描人們的面部和聲音，并評估求職者的水平的做法是“不公平和有欺騙性的”。〔39 〕更為重要的還在于，批評者們還注意到情感認知的邏輯與不可信的種族科學和面相學之間的相似性，前者認為個人價值和性格可以從身體特征中辨別出來，后者被用來證成生物差異為社會不平等辯護。〔40 〕

（三）情感計算應用的技術瓶頸

情感計算技術的底層依據來自“基本情感理論”（Basic Emotion Theory， BET），該理論由心理學家保羅·埃克曼（Paul Ekman）在1970年提出，認為人們可以從面部表情中可靠地辨別出情緒狀態，并且此種表情與情緒的關聯具有跨文化上的普遍性。〔41 〕依據該理論，情感計算的應用是建立在三個假設之上：（1）可以從一個人的外在表達來衡量一個人的內在情感（如面部表情、聲音、姿態等各類生物信息）;（2）這個內在情感的外在表達在世界范圍內既離散又統一，用技術話語來解讀就是具有提取特征上的普遍性;（3）這種挖掘（推論）足夠可靠，可以用來作出決策。不過，在情感計算的發展過程中，對上述三個假設的質疑始終存在。盡管樂觀者認為情緒識別等技術可以不斷迭代優化，但極端的批評者則認為，情感計算沒有強有力的科學證據支持，并以不道德和不負責任的方式被應用，是一種偽科學。〔42 〕

第一，外在表達與內在情感之間的關聯存在不確定性。情感計算在技術邏輯上的根本問題在于它是基于反向推理，即一個特定的生理信息被用來表示一種情緒體驗。從計算的角度來看，所有這些來源都是生理信號，具有分析和解釋上的共同困難。一方面，相同的生理信息可能表達了不止一種情緒，而實際上理解情緒需要更多的情境細節支撐。有實證研究揭示，所有六種情緒平均上只與面部表情有微弱的聯系。〔43 〕另一方面，在強烈刺激的環境下，受試者的生理信號和情緒之間可以建立較為明確的關聯。但對于情感計算而言，如果要在評估可用性或推動互動中廣泛使用心理生理學和相關的傳感技術，則它們必須能夠檢測出用戶對細微的刺激反應。現有技術尚未證明在細微和自然的情況下可以確定地檢測到這種反應。整體而言，心理生理數據非常復雜，難以證明其與情緒之間的因果關系。〔44 〕

第二，外在表達與情感之間的關聯在世界范圍內存在差異性。有學者回顧了上千項關于情緒表達的研究后發現，人們在不同文化、不同情況下，甚至在同一情況下，在溝通他們的情緒狀態時，存在著大量的差異。因此，無論計算算法多么復雜，利用這項技術來得出情感結論還為時過早。〔45 〕與此同時，正如本文第一部分所強調的那樣，情感計算采用的有監督學習范式，需要人工對情緒進行標注。該過程的主觀性也加劇了表達與情感之間關聯的差異性。

第三，該技術在應用結果上具有不可靠性。正是因為外在表達與內在情感之間的不確定性、多樣性、數據標注的主觀性，這使得現階段情感計算技術在準確性上難以充分保障。例如，ProPublica報道稱，美國部分學校、監獄、銀行和醫院安裝了由Sound Intelligence公司開發的情感計算應用軟件，旨在暴力爆發前檢測壓力和攻擊性。但“攻擊性檢測器/主動探測器”并不可靠，它可能將咳嗽這樣的粗糙、高音調的聲音誤判為攻擊性。〔46 〕另一項研究發現Face++和Face API兩款軟件分配給特定人群更多消極情緒得分，不管他們笑得多開心。〔47 〕前文提及的iBorderCtrl系統也因為評估結果的“假陽性”以及歧視性的潛在風險而在試用后短期內被撤回。〔48 〕

四、情感計算應用的法律規制

當前，我國對于情感計算技術的法律規制體系尚未構建。一方面，這為該技術的迅猛發展提供了寬松的制度環境;另一方面也為技術應用引發的多維風險埋下隱患。情感計算技術的應用需要有公眾信任作為支撐，其面臨的倫理、法律和技術困境無疑會侵蝕公眾的信任度。因此，從推動情感計算技術良性發展的視角來看，勢必需要對其應用進行合理的法律規制，以應對法律、倫理、技術三個維度的困境。具體而言，就是以“輕推”為限度設定情感計算應用的底線。在此基礎上，對符合底線要求的應用再根據風險等級進行差異化的規制。

（一）以“輕推”為限度的底線規制

正如本文第三部分論及的那樣，基礎倫理學與實用倫理學均高度重視情感，將其視作影響道德判斷和人的主體性的重要因素。因此，人們應當尊重他人控制其情緒狀態的自主權;獲得有關個人情感狀態信息施加了一種責任，即不得濫用該信息并利用該人的脆弱性。〔49 〕在此背景下，情感計算應用的法律規制需要調和倫理學對情感自主性的強調與情感計算以影響情感為終極目標之間的張力。簡言之，就是在綜合考量倫理困境與技術困境的基礎上，通過法律設定情感計算技術對個人情感影響的限度，進而有效避免情感計算技術被濫用風險。筆者認為，可以借鑒行為經濟學與行為科學成熟的理論框架，以“輕推”為限度構建一套情感計算應用的底線規制體系。

“輕推”對應的英文“nudge”的原始含義是指輕輕推某人，尤指用肘輕輕推某人，以引起他們的注意。諾貝爾經濟學獎獲得者理查德·泰勒和美國最偉大的法學家之一卡斯·桑斯坦在2008年共同提出了“輕推”的理論。它是指通過正向強化和間接建議，影響群體或個人的行為和決策，但個人仍然有選擇自由。眾所周知，個人并非絕對意義上的理性經濟人，會受到各種偏見的影響，有時候作出的決策往往是一種本能反應，而人往往對這種本能反應過于自信，引發大量的錯誤決策，此時就必須“輕推一把”，讓人意識到錯誤并走上正軌。關于何為“輕推”，理查德·泰勒和卡斯·桑斯坦將其概括為“自由主義的溫和專制主義”。具體而言，私人和公共選擇設計者所作的并不僅僅是要極力追蹤或者實現人們所期待的選擇，他們更加可以追求的是通過改變人們的行為方式從而使他們生活得更好。他們使用的是一種助推。“輕推”指的是這種選擇體系的任何一方面，都不通過強制的方式，而是以一種預言方式去改變人們的選擇或者改變他們的經濟動機及行為。〔50 〕

按照上述理論框架，應通過法律明確規范情感計算技術對人類情感的干預限度和方式：（1）情感計算應用中施加的影響情感措施只能以“輕推”為限度，不得直接“操縱/控制”情感。簡言之，“輕推而不控制”是法律規制的核心內容。那種通過腦機接口（BCI）的方式直接作用于神經進而影響情感的方案與“輕推”的法律要求根本沖突。〔51 〕（2）情感計算應用中施加的影響情感措施不得妨礙人們的自由選擇，不禁止其他選項。舉例而言，智能駕駛系統在識別司機情緒不佳時播放舒緩的音樂，如果用戶仍然有選擇的自由，則是一種輕推;但如果用戶只能聽舒緩的音樂，則是一種命令，因為它排除了用戶的自主選擇。（3）情感計算應用中施加的影響情感措施不能顯著增加選擇者的負擔，并且可以通過低成本的方式輕易避免。（4）情感計算應用中施加的影響情感措施原則上只能是“積極助推”，禁止“負面助推”。（5）對于未成年人、精神病人、殘疾人等易受傷害人群，作為法律保留事項，需要更為嚴格的限制和專業指導。一言以蔽之，“輕推”可以用自由選擇與適當引導兩個關鍵詞來概括。通俗來講，情感計算的“輕推”就是發現特定主體情緒存在一定問題，用各種策略“輕推一把”讓他/她能夠回歸正軌。當然，在特定情況下，比如醫療領域應用情感計算時，可以適當超越“輕推”的范疇，但需要更加謹慎的態度和專業的論證。綜上所述，“輕推”為情感計算的應用范圍和方式設定了底線。

（二）以風險為基礎的差異規制

與絕大多數科學技術相同，情感計算技術是一把“雙刃劍”。從正面來看，情感計算智能技術的應用能夠有助于更好地理解和控制情緒與情感狀態，可以改善生活質量、挽救生命、提高人機交互體驗等;從負面來看，情感計算則可能對個人權利造成諸多侵害。〔52 〕因此，情感計算技術的法律規制，除了以“輕推”為底線之外，還應當按照以風險為基礎的比例原則構建一套法律規制體系。申言之，就是根據情感計算應用可能產生的風險強度來動態調整法律規制的類型與內容。一方面，要合理考慮情感計算應用對權利與倫理的影響強度與范圍;另一方面，嚴格按照風險的等級差異，等比例提供規制方案，高風險對應高規制強度、低風險對應低規制強度。如表1所示，首先將情感計算應用的風險分為“不可接受”和“可接受”兩大類，將那種觸碰倫理基本底線的情感計算應用（如作惡）歸并為“不可接受的風險”。在此基礎上，根據風險的差異化表征進一步將“可接受的風險”劃分為“高風險”“中風險”“低風險”，并分別對應差異化的規制方案。

所謂的“不可接受的風險”，是指觸碰倫理禁區和價值底線的情感計算應用。根據該技術現有的發展態勢來看，主要有以下三種情形：（1）試圖直接操縱、控制他人情緒的情感計算應用。在底線規制的構建中筆者已經指出，按照道德哲學的基本要求，情感的自主性具有極高的倫理地位，因此干預情感應該以“輕推”為限度。超越該限度直接控制情感的做法既屬于倫理禁區也屬于法律禁區。（2）追求不正當目的的情感計算應用。比如旨在激起特定人群積極情緒（暴力、好戰）的應用，又比如雇主通過情感計算技術來控制雇員情緒，使其總是處于積極工作的情緒之中。（3）濫用技術，利用人性的弱點，比如未成年人、精神病人在年齡、身體或精神上的脆弱性從而扭曲個人情感的情感計算應用。〔53 〕上述三種情形的情感計算應用產生的風險在法律上屬于“不可接受”的范疇，因此應當完全禁止。

所謂“高風險”，是指那種可能嚴重影響個人權利，尤其是教育、健康、安全等基本權利的情感計算應用。這里的“嚴重影響”，是指基于情感計算的結果直接決定個人教育、社會保障、醫療、就業、安全、健康等基本權利的有無。也就是說，情感計算結論成為“剝奪”個人基本權利的直接依據。具體而言，此類應用表現為公私機構利用情感計算技術對個人進行評估，在此基礎上形成評分或者分類標簽，進而決定特定個人能否進入教育機構、享受特定的保險待遇、獲得特定的工作機會等。按照情感計算技術發展的趨勢來看，主要有以下四種情形：（1）在教育系統中使用情感計算技術，用于確定進入教育機構的資格，或將對特定人群情緒控制能力的評估作為接受教育的一部分或者前提;（2）在就業領域使用情感計算技術，用于人員的招募和甄選，決定晉升或解雇;（3）在公共服務領域使用情感計算技術決定個人是否獲得和享受某些必不可少的公共服務，如獲得公租房、電力、電信服務等;（4）在執法領域使用情感計算技術判斷特定公眾的危險程度或供述的可信度，以決定是否采用非羈押措施、緩刑等。前文提及的基于情感計算技術在就業、執法等領域應用中就有此類情形。此類應用可能會對個人的教育、職業等權利產生極為深刻和廣泛的影響。加之情感計算在技術上的不穩定性，對其應用還可能導致特定群體被排斥在享受特定基本權利之外。這實際上侵犯了尊嚴和不歧視的平等與正義價值觀，導致特定群體在整個社會交往環境中處于特別被動的地位，并將此種歧視以技術形式固化。對于這類“高風險”應用需要嚴格限制，原則上被禁止，只有公共服務機構基于公共利益而展開，且需要配合以全流程的監管措施。

所謂的“中風險”，是指那種中度影響個人權利的情感計算應用。具體而言，就是對個人權利產生實質影響，但并不決定特定權利有無的狀態。盡管如此，考慮到對個人權利影響的實質性以及現有技術的不穩定性，仍然需要將他們歸并為“中風險”應用。比如，智慧教育中基于學生的情緒識別而采用差異化的教學策略雖然影響了不同學生的受教育權，但卻并未作為教育的準入資格條件而存在。對于“中風險”的情感智能技術，原則上可以應用，但是要構建一套全生命周期的監管措施。除了符合已有法律規范的相關要求之外，筆者認為，可以參考《歐盟人工智能協調規則提案》的相關規制體系并結合我國的實踐確定如下流程監管措施：（1）風險管理機制：構建完備的情感計算應用風險評估系統，從倫理、法律和技術三個維度綜合審查已經發生或者可能發生的各類風險，并對各類風險發生的應對措施作提前預案。同時，風險評估要在全生命周期內不斷迭代與更新。（2）數據治理機制：構建數據獲取、標注、訓練的治理機制，將風險和歧視的結果降至最低。比如，在情緒識別的樣本選擇時需要考慮不同性別的人群構成，保障訓練樣本的代表性;在數據標注時需要統一培訓，按照一致的標準。（3）技術保障機制：情感計算應用的開發者應當保障技術具有實現開發目的的準確性、穩定性與安全性。要引入獨立第三方對各項技術的性能指標進行充分的測試與驗證。（4）流程備份機制：對應用的全過程進行記錄以保證可追溯性。（5）信息透明機制：使用者應當向用戶提供清晰、充分的信息，包括技術的現有準確性、安全性等內容都需要在使用說明中明確聲明。（6）信息備案機制：將應用的相關信息提交相關主管機構備案。在應用發展過程中，要及時更新。

所謂的“低風險”，是指輕度影響或者不影響個人權利的情感計算應用。比如，在情感聊天系統中，根據對用戶情緒的識別自動調整聊天方式。對于低風險的應用，法律在原則上不施加明顯的規制，只是作出最基礎的透明義務要求，比如明確告知用戶正在與具備情感識別功能的系統交互。就好比電話中涉及錄音時會提醒“本次通話可能被錄音”一樣，在涉及情感計算時需要提示“你的情緒可能被檢測”。〔54 〕在此基礎上，相關企業可以按照企業自律的方式合理選擇全流程監管措施中的一項或者多項，以提升企業的合規能力。

結? 語

我國對于技術規制的路徑通常是采用回應型的立法，即在技術發展已經無處不在并已經暴露現實風險時再考慮規制。在此之前，給予特定技術以充分的發展空間。對于即將迅猛發展且可能比人臉識別更具侵入性的情感計算技術而言，對其規制可能需要采取更具前瞻性的“先發制人”立法。尤其在“不可接受風險”的應用已經處于研發狀態、“高風險應用”已然現實存在的背景下，對于情感計算應用的有效規制就顯得尤為必要。唯有如此，方能有效避免對公民個人權利帶來不成比例的損害。當然，本文只是對情感計算的法律規制提出了初步的方案。對于情感計算與個人信息保護規范之間的銜接、全生命周期監管方案還有待在后續研究中進一步細化。

Abstract： In the perspective of artificial intelligence， affective computing is a collective term for all kinds of intelligent technologies that perceive， emotion recognize， simulate and influence human affect. Although this technology has been applied in medical treatments， education， business， employment， law enforcement and other fields， it still faces multidimensional dilemmas in law， ethics and technology.? In terms of law， the application of affective computing may be in conflict with the right to personal information， privacy and personal freedom.? In terms of ethics， the ultimate goal of affective computing is incompatible with the emphasis on affect autonomy in the field of morality philosophy.? In terms of technology， affective computing is still facing the doubts of the basic theory and practical effect. In order to promote the sound development of the application of affective computing， it is necessary to carry out legal regulation from two aspects： The first is to mediate the tension between affect autonomy and the ultimate goal of affective computing with "nudging" as the limit; Secondly， based on risks， different regulations should be implemented in accordance with the principle of proportionality， ranging from total prohibition to industry self-discipline for the four categories of applications of inadmissible risk， high risk， moderate risk and low risk.

Key words： affective computing; emotion recognition; emotional AI; artificial intelligence; the principle of proportionality; legal regulation