人工智能時代法律風險及刑法應對
——專訪華東政法大學刑法學教授、華東政法大學刑事法學研究院院長劉憲權

文//惠寧寧

劉憲權 華東政法大學刑法學教授，博士生導師，現任華東政法大學刑事法學研究院院長，兼任中國刑法學研究會副會長等職。長期從事刑法學的研究和教學。重點研究經濟犯罪、涉信息網絡犯罪、職務犯罪以及人工智能時代刑事責任與刑罰體系重構等領域。獨著或參著《刑法學名師講演錄》《金融犯罪刑法學新論》《刑法學專論》等學術著作共50余部，主編《刑法學》《中國刑法學》等多本教材。發表論文800余篇。曾獲“全國杰出專業技術人才”“國家級教學名師”等榮譽稱號。

當前，人工智能技術迅速發展，隨之出現的智能機器人等新生事物不斷給人類社會帶來沖擊和影響，促進了社會發展，與此同時，一些法律、倫理等方面的風險逐漸顯現。其中，刑事方面的風險以及相關責任的認定，是法學界亟待解決的問題。對人工智能進行刑法的規制，引導人工智能向有益方面發展十分必要。為此，本刊專訪了華東政法大學刑法學教授、華東政法大學刑事法學研究院院長劉憲權。

《人民法治》：2017年，國務院在《新一代人工智能發展規劃》中提出，“建立人工智能法律法規、倫理規范和政策體系，形成人工智能安全評估和管控能力”。請您談談對人工智能進行刑法規制的必要性。

劉憲權：隨著人工智能時代的到來，這個本來屬于純粹技術問題的新生事物將會在法律、哲學、倫理等方面對人類社會帶來極大的影響和沖擊，并可能產生相應的刑事犯罪。對智能機器人的合理應用，將會帶來許多行業的重大變革，并在較大程度上通過解放勞動力，促進社會的深度和快速發展。但是如果設計者或使用者對智能機器人進行不當利用，甚至將其作為實現犯罪意圖的工具，抑或是智能機器人本身在具有獨立意志之后產生了犯罪意圖，進而實施嚴重危害社會的行為，將會給人類社會帶來極大的威脅，甚至可能會“導致人類社會的毀滅”。

當然，可能會有人認為我的這種說法是杞人憂天、危言聳聽。但是，關于人工智能技術對人類社會可能帶來的影響，我認為目前我們應該作出以下兩個判斷：

其一是“相信誰”的問題。時下，以霍金為代表的物理學家曾多次表示，“人工智能可能會毀滅人類”。霍金認為，“人工智能有可能是人類文明史的終結，除非我們學會如何避免危險”。霍金是著名的物理學家，不是科幻小說家，更不是巫師，對于一個科學技術的問題，我們不應該也沒有理由不相信一個著名科學家的說法。當然我們也應該看到，現在一些商業經營者認為，智能機器人的智慧永遠不可能超過人類，人工智能會威脅到人類的觀點純屬夸大其詞。我認為，經營者所站的立場與科學家是會有所區別。經營者主要是站在追求經濟利益的角度來看待這一問題，他們更希望人工智能技術能夠在不受任何限制或者法律規制的狀態下自由蓬勃發展，以謀求經營利益的最大化。可能有人會認為，時下也有一些科學家的觀點與霍金等人的觀點不同，認為強人工智能時代是不會出現的。這里就可能涉及到一個立場問題，即信其有還是信其無的問題。作為一個法學研究者，我更傾向“寧可信其有，不可信其無”的立場，因為信其“有”而最后沒有出現，不會對人類社會帶來任何危害；但是如果信其“無”而最后又出現了，則會給人類造成很被動的局面。

其二，是否需要未雨綢繆？時下有人提出，即使人工智能技術確實可能為人類社會帶來巨大的威脅，那也需要等這種威脅出現之后再去進行刑法規制，刑法研究不能如此超前。我不同意這種說法。歷史已經不止一次地證明，科技的發展乃至時代的更迭往往能夠超越人類的想象。面對著人工智能技術日新月異的發展狀況，這種說法似乎站不住腳。人工智能技術呈爆炸式發展，而法律尤其是刑法的制定則需要漫長的時間。如果等智能機器人的智能全面超過人類，那就不是我們人類用刑事立法去規制智能機器人的行為，而是相反。所以我們現在就必須考慮通過立法，在促進人工智能技術高速發展的同時，嚴格規制智能機器人的行為。

“宜未雨而綢繆,毋臨渴而掘井。”我們應提前預想到在人工智能時代可能面臨的刑事風險，明確智能機器人的法律特征和法律地位，并就我國刑法應當如何合理應對人工智能時代所帶來的刑事風險展開具體的分析與討論，提前明晰人工智能時代的刑事責任承擔路徑。我認為，這并非杞人憂天，而是居安思危。我們只有做好一定的風險防控措施，防患于未然，才能讓人工智能技術真正造福于人類而不至于危害社會。

《人民法治》：人工智能作為一個新的領域，其研發和應用的過程存在一定的倫理風險、道德風險和法律風險，請您談談現階段人工智能技術發展所蘊含的刑事風險及其特點。

劉憲權：我認為，在現階段，也就是人類仍然可以通過設計和編制的程序達到對智能機器人完全控制的情況下，人工智能時代的刑事風險可以分為兩類——可能使得部分傳統犯罪的危害發生“量變”；可能會導致新的犯罪形式產生。

第一，我們談一下人工智能可能使得部分傳統犯罪的危害發生“量變”的情況。科技的發展帶給人類社會的改變總是具有一定的相似性，這種相似性表現在科技發展在改善人類社會生活的同時也增加了社會的風險。從工業時代到互聯網時代，每一次人類社會生活時代的更替都可能使得部分傳統犯罪插上科技的“翅膀”。我們完全有理由相信，人工智能時代在使得人類社會更加方便快捷高效的同時，也必將增添人類社會的風險系數。一方面，人工智能技術可能使得犯罪行為的危害覆蓋面積更“廣”。根據相關部門的規劃，未來我們國家將實現智能制造、智能農業、智能金融、智能商務、智能家居等全方面智能化社會。這些規劃無疑讓人興奮、令人鼓舞，但同時也會使人們產生些許擔憂并應引起我們的警惕。人工智能技術覆蓋面如此之廣，一旦出現問題，很有可能會造成“牽一發而動全身”的危險局面，如果我們沒有準備也不做預案，其后果將是不堪設想的。另一方面，從危害“深度”而言，人工智能技術可以使得產品全面智能化，也可以使得犯罪工具以及犯罪手段更加智能，由此犯罪行為所造成的社會危害可能更“深”。也即不法分子完全可以利用人工智能技術全面實現犯罪計劃，一旦危害結果發生，很難得到修復。

第二，我們談一下人工智能可能會導致新的犯罪形式產生的情況。第一種是與大數據濫用結合的新犯罪形式。人工智能的基本原理是利用人工構造的神經網絡系統以及一系列編碼程序，對大量數據進行深度學習，從而掌握識別甚至決策等技能。對人工智能的濫用很有可能就是對大數據的濫用。數據的集中本身就是一種風險的存在，因為數據越多，包含的信息量就越多，不法分子攻擊一次數據庫就能獲利頗多，從而降低了犯罪成本。更令人膽顫的一點是，人工智能技術往往可以得到超出人類預期的結果，一些數據從表面看來可能不包含關鍵的敏感信息，但是通過人工智能技術分析海量數據，以及對多個數據庫進行綜合分析，最終完全可能通過推演得到關鍵的敏感信息，甚至包括威脅到國家安全的重要信息。與此同時，目前對于數據的安全防護手段無法跟上人工智能技術發展的速度，也就無法及時針對新的犯罪形式作出預警反應。第二種是與“欺騙”人工智能系統結合的新犯罪形式。一方面，不法分子可以通過干擾人工智能系統得以逃脫監控或制裁。人工智能具有識別和決策功能，一旦不法分子改變或控制人工智能中的算法，完全可以使得人工智能系統發生識別或決策錯誤。未來警方很大程度上會依賴人工智能技術來偵破案件，“人工”的參與度大大下降，那么不法分子只要能夠采取一定手段“欺騙”人工智能系統，就能使得自己逃之夭夭，從而給社會安全帶來更大的隱患。另一方面，不法分子完全可以通過“欺騙”人工智能系統讓自己非法的行為“合法化”。我們完全可以想象，未來人類的社會生活是在人工智能系統的覆蓋下進行的，人工智能依賴于計算機算法，而凡是計算機算法就一定會有算法漏洞或缺陷。在過去，黑客對系統進行攻擊往往可以通過反復調整同一封郵件或圖片來“騙過”安全過濾系統，那么在未來，不法分子也完全可以通過“騙過”人工智能系統來從事非法甚至犯罪活動，例如開展非法的政治活動等。

《人民法治》：人工智能的研究與開發現在正在快速推進，在產生經濟效益、社會效益的同時，也存在一些問題與隱憂，在刑事司法實踐中，如何依據現有的刑法規定來認定研發者或使用者的刑事責任？

劉憲權：就目前我國刑法的立法狀況和人工智能技術的發展現狀而言，可以從故意犯罪和過失犯罪兩個角度考慮對人工智能研發者或使用者的行為加以規制。

我們先來看一下行為人故意利用智能機器人實施犯罪行為的情況。科技的發展在造福人類社會的同時也為不法分子帶來可乘之機，因而不法分子很有可能利用人工智能技術開展犯罪活動，例如具有犯罪意圖的研發者完全可以在設計和編制程序的時候植入自己的犯罪計劃，使得智能機器人幫助自己實現犯罪目的。這種情形屬于行為人故意利用智能機器人實施犯罪行為的情形。我認為，對于故意利用人工智能技術研發或使用相應產品實施嚴重危害社會的犯罪行為，應當將智能機器人看作行為人實施犯罪行為的“智能工具”，所有刑事責任應當由智能機器人的研發者或使用者承擔。例如，不法分子為了實現自己的殺人意圖，設計出一個“智能殺手”，“智能殺手”可以通過深度學習，從而自主判斷和決定殺人的方式。如果“智能殺手”最終實施了殺人的行為，我認為，此時全部的刑事責任都應當由“智能殺手”的研發者來承擔，理由是：此時“智能殺手”實現的是研發者的意志而非自己獨立的意志。因而刑事責任承擔的主體也應為研發者，智能機器人本身不需要承擔任何刑事責任，此時對于智能機器人性質上的理解應當是研發者實施犯罪行為的“智能工具”。

我們再來談一談智能機器人研發者和使用者可能要承擔過失責任的情況。智能機器人在將來可能產生自主意識和意志。因此，智能機器人完全可能做出人類不可控的行為，對此智能機器人的研發者和使用者是否構成相關過失類犯罪呢？過失犯罪以違反一定義務為前提，如果違反了預見義務，即“應當預見但沒有預見”或“已經預見但輕信可以避免”，則成立過失犯罪。我國刑法是以懲罰故意犯罪為原則，以懲罰過失犯罪為例外，也即所有過失犯罪的認定均以刑法規定為限。因此，在現行刑法體系下，對智能機器人的研發者和使用者過失實施犯罪行為的刑事責任追究，也必須以刑法有關過失犯罪的條文規定為依據。我認為，在人工智能環境下，判斷智能機器人的研發者和使用者是否對危害結果負有預見義務，主要需要考慮的是研發或使用當時的人工智能技術發展水平。如果研發者和使用者完全可能利用當時的人工智能技術預見危害結果的發生，則人工智能的研發者和使用者負有預見義務。最終導致危害結果的發生，應當認為研發者或使用者沒有履行預見義務，并且這種不作為與危害結果之間存在因果關系，研發者或使用者成立過失犯罪。智能機器人的行為與研發者對程序的設計編制和使用者的使用情況緊密相關。智能機器人的研發過程是復雜的，需要經過種種測試與試驗，才能保證最終產品符合安全標準。如果檢測過程中，研發者“已經預見”了智能機器人在未來使用過程中可能導致危害結果的發生，但可能因為試驗所顯示該情況的概率較低等原因，研發者輕信這種情況可以避免，那么研發者成立“過于自信的過失”。如果檢測過程中，研發者因為沒有全面檢測等原因“沒有預見”危害結果的發生，但實際上如果全面檢測是可以發現智能機器人存在缺陷的，那么研發者成立“疏忽大意的過失”。同樣地，如果使用者在使用智能機器人的過程中沒有按照相關說明操作，最終導致了危害結果，則應當按照具體情況成立“過于自信的過失”或“疏忽大意的過失”。對于智能機器人的研發者和使用者構成的犯罪罪名，應根據我國目前的刑法規定，并結合智能機器人實施的行為和具體造成的危害結果具體定罪量刑。例如，如果因為智能機器人的行為造成了被害人死亡的結果，則研發者和使用者構成過失致人死亡罪。與此同時，法律不強人所難。囿于一定地域內社會歷史發展階段與水平的限制，人類所掌握的人工智能技術完全可能無法徹底消除人工智能的安全風險，也即人工智能的安全系數與標準的提高還有賴于人工智能技術的進一步成熟。在這種情況下，我們就不應當追究研發者和使用者的刑事責任。對于最終導致的危害結果，可以按刑法中的意外事件處理。

《人民法治》：智能機器人是否可以成為刑事責任的主體？

劉憲權：我認為，這個問題需要分情況討論。完全在人類設計和編制的程序范圍內實施行為的智能機器人，具有工具屬性，是人類改造世界的工具，不具有在自主意志和意識支配下的辨認能力和控制能力，不可能成為刑事責任的主體。隨著科技的發展，有可能出現不受人類設計和編制的程序控制，具有自主意志和意識，可以自主決策并自主實施行為的智能機器人。我認為，這類機器人可以成為刑事責任的主體。理由如下：

第一，與單位相比，能夠在自主意志和意識的支配下實施行為的智能機器人的辨認能力和控制能力更接近于“人”的辨認能力和控制能力。單位的意志來源于個人意志，是個人意志的集合，其辨認能力與控制能力需要通過個人的辨認能力和控制能力來體現，因而只能通過法律擬制為“人”，進而成為刑事責任主體。但是，能夠在自主意志和意識的支配下實施行為的智能機器人與單位不同，其本身就具備了辨認能力和控制能力，似乎比單位更具有成為刑事責任主體的“資格”。一直以來，單位能否成為刑事責任主體就存在著一定的爭論。我認為，能否成為刑事責任主體，關鍵在于牢牢把握刑事責任主體的基本內涵，也即具有刑事責任能力的主體可以成為刑事責任主體，而刑事責任能力的本質內容和具體表現是辨認能力和控制能力。單位的辨認能力和控制能力來源于單位內部成員的辨認能力和控制能力，而能夠在設計和編制的程序范圍外實施行為的智能機器人不需要通過其他主體作為表達媒介，由于其本身就擁有辨認能力和控制能力，因而更接近于“人”，更有理由成為刑事責任主體。

第二，承認在自主意志和意識的支配下實施行為的智能機器人可以成為刑事責任主體，有利于鞏固刑事責任主體基本內涵的統一性。根據刑事責任主體的基本內涵，我們可以看出，自然人可以成為刑事責任主體最根本的原因是其具有辨認能力和控制能力，單位可以成為刑事責任主體最根本的原因是單位內部成員個人的辨認能力和控制能力可以“凝結”為單位自身的辨認能力和控制能力。能夠在自主意志和意識的支配下實施行為的智能機器人的意志是自由的，應當認為其具有辨認能力和控制能力，當然不能也不應該將其排除在刑事責任主體的“大門之外”，否則就會出現在同一個刑法體系下，承認了自然人和單位的刑事責任主體地位，卻不承認同樣具有辨認能力和控制能力的智能機器人的刑事責任主體地位的矛盾局面。因此，我認為，有必要將能夠在自主意志和意識的支配下實施行為的智能機器人納入刑事責任主體的范圍之內，來鞏固刑事責任主體基本內涵的統一性。

第三，承認在自主意志和意識的支配下實施行為的智能機器人的刑事責任主體地位，符合罪責自負原則。有人可能會提出，智能機器人既然沒有生命，也無法像單位一樣擁有財產，讓其成為刑事責任主體有何意義呢？我認為，這種說法是不妥當的。一方面，認為智能機器人無受刑能力從而否定其可以成為刑事責任主體的觀點似乎違反了正確的邏輯思維順序。并不是因為一個主體可以接受刑罰，才承認其具有刑事責任能力，進而可以成為刑事責任主體；而是因為一個主體具有刑事責任能力，可能在自主意識和意志支配之下實施嚴重危害社會的行為，可以成為刑事責任主體，進而在該主體需要承擔刑事責任之時，才討論其受刑能力的問題。另一方面，承認自主實施犯罪行為的智能機器人可以成為刑事責任主體的同時，我們完全可以通過對現有刑罰體系的重構，以適應人工智能時代的“智能機器人犯罪”問題。我建議，在人工智能時代，可以根據現代刑法所承認的罪刑相適應原則、以刑罰目的為導向原則、刑罰節儉性原則等設計智能機器人的刑罰體系。我初步構想的可以適用于智能機器人的刑罰大體有三種，分別為：刪除數據、修改程序、永久銷毀。與此同時，可能有人會提出，即使智能機器人實施了嚴重危害社會的犯罪行為，也可以讓其研發者或使用者承擔責任。我認為，一旦智能機器人實施嚴重危害社會的犯罪行為，在某些情況下，其研發者或使用者確實不能免責。但是，無論研發者或使用者是否應該為智能機器人的犯罪行為“買單”，都不影響智能機器人可以成為刑事責任主體并承擔相應的刑事責任，否則就與刑法中罪責自負的原則相背離了。