德國(guó)對(duì)人工智能犯罪的治理

Governance of AI Crime in Germany

人工智能與網(wǎng)絡(luò)等新興技術(shù)就像一把“雙刃劍”，在促進(jìn)經(jīng)濟(jì)社會(huì)發(fā)展、給人們生活帶來(lái)福祉的同時(shí)，也蘊(yùn)藏著許多未知的風(fēng)險(xiǎn)。一方面，是新興技術(shù)應(yīng)用的內(nèi)在風(fēng)險(xiǎn)。比如，人工智能技術(shù)對(duì)人類現(xiàn)有生活制序造成的沖擊、對(duì)公民個(gè)人信息和隱私帶來(lái)的威脅等。另一方面，是新興技術(shù)面臨的外在風(fēng)險(xiǎn)。新興技術(shù)的發(fā)展有可能被用于非法目的，比如為不法分子實(shí)施違法犯罪活動(dòng)提供新型的武器。這類新型武器往往侵害面廣、隱蔽性強(qiáng)、危害性大，給公共安全帶來(lái)嚴(yán)重的安全隱患，世界各國(guó)對(duì)此都高度重視。德國(guó)是全球人工智能技術(shù)領(lǐng)域較為領(lǐng)先的國(guó)家，聯(lián)邦政府于2018年11月發(fā)布由聯(lián)邦經(jīng)濟(jì)與能源部、教育與研究部和勞動(dòng)與社會(huì)部共同編制的《德國(guó)人工智能發(fā)展戰(zhàn)略》，涉及研究創(chuàng)新、成果轉(zhuǎn)化、規(guī)章框架、標(biāo)準(zhǔn)制定等12個(gè)領(lǐng)域，計(jì)劃于2025年前投入約30億歐元用于戰(zhàn)略實(shí)施。2020年12月，德國(guó)政府根據(jù)行業(yè)發(fā)展情況和新冠疫情流行帶來(lái)的社會(huì)新變化，對(duì)國(guó)家人工智能戰(zhàn)略進(jìn)行更新，從專業(yè)人才、研究、技術(shù)轉(zhuǎn)移和應(yīng)用、監(jiān)管框架和社會(huì)認(rèn)同五個(gè)重點(diǎn)領(lǐng)域，提出下一步的創(chuàng)新舉措。新戰(zhàn)略將計(jì)劃周期投資額由30億歐元增至50億歐元，實(shí)施后取得顯著成效。目前，全球自動(dòng)駕駛領(lǐng)域?qū)＠?8%由德國(guó)申報(bào)；在全球最受高素質(zhì)數(shù)字化專業(yè)人才喜愛(ài)的國(guó)家中，德國(guó)排名第二，僅次于美國(guó)。

一、人工智能系統(tǒng)的潛在風(fēng)險(xiǎn)與惡意使用

能夠識(shí)別人工智能系統(tǒng)的風(fēng)險(xiǎn)與潛在的惡意利用，是預(yù)防惡意行為者和濫用者利用人工智能實(shí)施侵害的前提條件。

（一）人工智能系統(tǒng)潛在風(fēng)險(xiǎn)的分類

歐盟根據(jù)人工智能系統(tǒng)可能對(duì)人類造成的潛在危害，將其風(fēng)險(xiǎn)等級(jí)分為四類，分別是：①極低的風(fēng)險(xiǎn)。如人工智能視頻游戲、垃圾郵件過(guò)濾器等系統(tǒng)，允許沒(méi)有限制地使用。②有限的風(fēng)險(xiǎn)。如模仿或聊天機(jī)器人、情緒識(shí)別和生物特征分類以及生成或操縱內(nèi)容系統(tǒng)等，對(duì)此類系統(tǒng)提出透明度義務(wù)的要求。③高風(fēng)險(xiǎn)。如用于安全組件、生物識(shí)別身份、教育、就業(yè)、獲取私人或公共服務(wù)、執(zhí)法、邊境控制、司法系統(tǒng)和民主進(jìn)程的人工智能應(yīng)用等，這類系統(tǒng)在投放使用前要經(jīng)過(guò)嚴(yán)格的評(píng)估，通過(guò)符合要求的數(shù)據(jù)測(cè)試，且需要具有可追溯的活動(dòng)記錄。④不可接受的風(fēng)險(xiǎn)。如在社會(huì)信用評(píng)分和行為操縱應(yīng)用程序中使用人工智能，這類使用是被禁止的。

根據(jù)時(shí)間維度的區(qū)別，可以將人工智能系統(tǒng)的潛在風(fēng)險(xiǎn)分為中短期風(fēng)險(xiǎn)和長(zhǎng)期風(fēng)險(xiǎn)。中短期風(fēng)險(xiǎn)包括：致命的自動(dòng)武器帶來(lái)的倫理、風(fēng)險(xiǎn)和技術(shù)進(jìn)步中一些未能解決的問(wèn)題，由于人工智能系統(tǒng)缺乏透明度和可解釋性、對(duì)數(shù)據(jù)收集和不受限訪問(wèn)帶來(lái)的安全隱患等。長(zhǎng)期風(fēng)險(xiǎn)包括：人工系統(tǒng)可能被用作監(jiān)控和操縱人群的強(qiáng)大工具、使控制權(quán)集中于少數(shù)人手中，在大國(guó)戰(zhàn)爭(zhēng)中使用的致命性自動(dòng)武器大幅升級(jí)、造成危機(jī)形勢(shì)復(fù)雜化，更先進(jìn)的人工智能系統(tǒng)與人類價(jià)值觀不一致可能造成的有害結(jié)果等。

此外，根據(jù)人工智能犯罪的具體表現(xiàn)形式，還可以分為利用智能設(shè)備實(shí)施的犯罪（無(wú)人駕駛汽車、無(wú)人機(jī)）、利用智能軟件實(shí)施的犯罪和利用網(wǎng)絡(luò)攻擊入侵智能系統(tǒng)實(shí)施的犯罪等。

（二）人工智能系統(tǒng)的惡意使用

基于人工智能算法的人工智能技術(shù)可以成為各種犯罪的工具，包括對(duì)個(gè)人、財(cái)產(chǎn)、環(huán)境安全、公共和國(guó)家利益的攻擊。目前，常見(jiàn)的有在網(wǎng)絡(luò)犯罪中基于人工智能算法的技術(shù)，實(shí)施網(wǎng)絡(luò)釣魚、非法使用無(wú)人機(jī)、合成虛假信息、通過(guò)自動(dòng)化自主系統(tǒng)和機(jī)器人開(kāi)展入侵活動(dòng)等。在“深度偽造”技術(shù)的運(yùn)用中，系統(tǒng)通過(guò)創(chuàng)建可靠的視頻圖像，可以實(shí)現(xiàn)不依賴于被偽造主體的人臉交換和人臉重建，并且可以應(yīng)用于任何一對(duì)人臉，甚至不需要對(duì)這些人臉進(jìn)行機(jī)器學(xué)習(xí)。再比如，犯罪分子可以利用人工智能系統(tǒng)模仿人類行為，欺騙社交媒體網(wǎng)站上的機(jī)器人檢測(cè)算法，然后利用受感染的系統(tǒng)為特定用戶制造虛假流量、獲取經(jīng)濟(jì)或其他利益。2019年3月，犯罪分子利用人工智能語(yǔ)音合成軟件合成了某能源公司德國(guó)總公司首席執(zhí)行官的聲音，以此要求英國(guó)分公司負(fù)責(zé)人在一小時(shí)內(nèi)緊急匯款給第三國(guó)供應(yīng)商。由于聽(tīng)到了熟悉的德國(guó)口音和老板的語(yǔ)言模式，英國(guó)分公司負(fù)責(zé)人對(duì)于轉(zhuǎn)賬指令沒(méi)有任何懷疑，最終被騙22萬(wàn)歐元。

二、德國(guó)對(duì)人工智能犯罪的治理

德國(guó)在2019年就成立了人工智能國(guó)際專家顧問(wèn)委員會(huì)，以評(píng)估人工智能中心和網(wǎng)絡(luò)建設(shè)水平，提出指導(dǎo)性建議。委員會(huì)成員為來(lái)自法國(guó)、意大利、西班牙等歐洲國(guó)家、受聘于德國(guó)聯(lián)邦教育與研究部的國(guó)際專家，涵蓋了涉及人工智能的多項(xiàng)領(lǐng)域，包括對(duì)人工智能犯罪的預(yù)防與治理。由于人工智能系統(tǒng)在許多情況下過(guò)于專業(yè)和復(fù)雜，無(wú)法在政府或司法系統(tǒng)現(xiàn)行的法規(guī)、規(guī)章和司法判決文本中充分體現(xiàn)，所以，迄今為止幾乎所有關(guān)于人工智能監(jiān)管的做法，都傾向于使用政府以外的技術(shù)標(biāo)準(zhǔn)制定組織。與傳統(tǒng)的政府直接監(jiān)管實(shí)體的模式不同，對(duì)人工智能系統(tǒng)進(jìn)行市場(chǎng)監(jiān)管的模式，是由私人監(jiān)管機(jī)構(gòu)制定監(jiān)管程序、要求和技術(shù)水平，直接監(jiān)管購(gòu)買其監(jiān)管服務(wù)的目標(biāo)，并接受政府的監(jiān)督。

（一）歐盟對(duì)人工智能技術(shù)的法律規(guī)則

歐盟委員會(huì)在重大事項(xiàng)上的決議在其成員國(guó)的立法指向與趨勢(shì)層面，具有綱領(lǐng)性的指導(dǎo)作用。因此，德國(guó)的人工智能治理也難以繞開(kāi)歐盟的整體政策大環(huán)境。2019年4月，歐盟委員會(huì)頒布《可信賴的人工智能倫理準(zhǔn)則》，提出歐盟范圍內(nèi)以人為本、可信賴的人工智能倫理標(biāo)準(zhǔn)。2021年4月，發(fā)布《關(guān)于制定人工智能統(tǒng)一規(guī)則并修訂某些歐盟立法的條例》，這是全球首個(gè)全面的人工智能法律框架。2022年12月，受ChatGPT等應(yīng)用快速發(fā)展的影響，增加了關(guān)于通用人工智能、基礎(chǔ)模型等的條款。2023年4月，增加了基礎(chǔ)模型開(kāi)發(fā)商披露使用版權(quán)材料、基礎(chǔ)模型遵守言論自由原則等內(nèi)容。6月，歐洲議會(huì)通過(guò)《人工智能法案》授權(quán)草案，將在歐洲議會(huì)、歐盟委員會(huì)和歐盟理事會(huì)完成談判后正式生效。這是全球第一部專門針對(duì)人工智能的綜合性立法，旨在法律層面上確保人工智能技術(shù)在歐盟范圍內(nèi)的安全使用。《人工智能法案》要求各成員國(guó)均應(yīng)建立起相應(yīng)的國(guó)家監(jiān)管機(jī)構(gòu)，監(jiān)督法案規(guī)則在國(guó)內(nèi)的應(yīng)用和實(shí)施。

（二）德國(guó)對(duì)人工智能犯罪的規(guī)則與治理

德國(guó)作為歐盟成員國(guó)，在遵守歐盟人工智能監(jiān)管總體原則的基礎(chǔ)上，結(jié)合本國(guó)實(shí)際對(duì)其轉(zhuǎn)化適用進(jìn)行了細(xì)化，在監(jiān)管框架方面提出了發(fā)展和應(yīng)用人工智能系統(tǒng)的具體要求，融合社會(huì)整體力量加強(qiáng)人工智能犯罪防治。

1.搭建國(guó)家治理框架

一是制定國(guó)家發(fā)展戰(zhàn)略。在聯(lián)邦政府層面制定《德國(guó)人工智能發(fā)展戰(zhàn)略》，著力提升德國(guó)在人工智能領(lǐng)域的技術(shù)競(jìng)爭(zhēng)力。在保障數(shù)據(jù)和信息系統(tǒng)安全的基礎(chǔ)上，推動(dòng)人工智能技術(shù)在社會(huì)、環(huán)境、經(jīng)濟(jì)、文化和國(guó)家等領(lǐng)域的有益運(yùn)用，盡量降低技術(shù)濫用對(duì)公共安全可能造成的風(fēng)險(xiǎn)。以人為本、以公共利益為導(dǎo)向，引導(dǎo)利益相關(guān)方自覺(jué)檢驗(yàn)技術(shù)應(yīng)用的倫理和法律邊界，推動(dòng)制度框架的完善發(fā)展。

二是加快推進(jìn)立法進(jìn)程。以立法強(qiáng)化犯罪預(yù)防，建立健全數(shù)據(jù)內(nèi)容管理、人工智能信息保護(hù)機(jī)制。從法律層面強(qiáng)化人工智能研發(fā)者、設(shè)計(jì)者的責(zé)任規(guī)制，明確責(zé)任主體，通過(guò)個(gè)體信息保護(hù)制度切斷人工智能非法應(yīng)用的數(shù)據(jù)支持。鑒于現(xiàn)代人工智能系統(tǒng)與大數(shù)據(jù)密切關(guān)聯(lián)的特性，在保護(hù)公民個(gè)人隱私的前提下，建立全面統(tǒng)一的數(shù)據(jù)保護(hù)治理體系，規(guī)范數(shù)據(jù)的收集、存儲(chǔ)與使用。德國(guó)在歐盟2018年《通用數(shù)據(jù)保護(hù)條例》的基礎(chǔ)上，結(jié)合本國(guó)國(guó)情制定了《新聯(lián)邦數(shù)據(jù)保護(hù)法》。同時(shí)，根據(jù)歐盟的《電子隱私指令》制定實(shí)施《電信和電信媒體數(shù)據(jù)保護(hù)法》，規(guī)定電信服務(wù)提供商在使用數(shù)據(jù)跟蹤技術(shù)前，需要獲得有效的用戶同意。在確保數(shù)據(jù)跨境傳輸?shù)陌踩苑矫妫聡?guó)巴登符騰堡州在2020年8月發(fā)布遵循歐盟法院判決的“數(shù)據(jù)跨境傳輸指南”。提出在向美國(guó)傳輸個(gè)人數(shù)據(jù)時(shí)，數(shù)據(jù)控制者應(yīng)提供額外保護(hù)措施降低數(shù)據(jù)泄露風(fēng)險(xiǎn)。比如，對(duì)數(shù)據(jù)采取加密措施，只有數(shù)據(jù)輸出者持有密鑰、并且加密強(qiáng)度應(yīng)足夠，確保美國(guó)情報(bào)部門無(wú)法破解。

三是構(gòu)建全球合作網(wǎng)絡(luò)。與全球人工智能治理相關(guān)的國(guó)際標(biāo)準(zhǔn)和管理論壇、技術(shù)標(biāo)準(zhǔn)制定委員會(huì)等攜手推動(dòng)國(guó)際人工智能治理。在政策制定中加大本地利益相關(guān)方的參與度，提升公眾參與熱情。為“歐洲共同利益重點(diǎn)項(xiàng)目”（IPCEI）人工智能領(lǐng)域的項(xiàng)目提供資金支持，在建設(shè)“德國(guó)人工智能瞭望臺(tái)”的同時(shí)，也為在歐洲和國(guó)際層面建立相應(yīng)的瞭望臺(tái)提供支持。2023年11月，德國(guó)與法國(guó)、意大利就如何監(jiān)管人工智能應(yīng)用達(dá)成聯(lián)合協(xié)議，對(duì)人工智能基礎(chǔ)模型實(shí)行“強(qiáng)制性自我監(jiān)管”，并強(qiáng)調(diào)監(jiān)管的是人工智能應(yīng)用，而不是技術(shù)本身。協(xié)議要求人工智能基礎(chǔ)模型的開(kāi)發(fā)人員必須定義模型卡，公布關(guān)于模型功能、能力限制的相關(guān)信息。如果在某項(xiàng)具體技術(shù)的應(yīng)用中發(fā)現(xiàn)并被查明有不當(dāng)行為，相關(guān)主管部門將會(huì)對(duì)其予以制裁。2023年11月初，首屆全球人工智能安全峰會(huì)在英國(guó)布萊切利莊園舉行，包括中國(guó)、美國(guó)、德國(guó)在內(nèi)的28個(gè)國(guó)家一致認(rèn)為，人工智能在改善人類福祉上存在著巨大潛能，但也同時(shí)存在著不可預(yù)知的潛在風(fēng)險(xiǎn)。參會(huì)國(guó)簽署發(fā)表了《布萊切利宣言》，同意通過(guò)國(guó)際合作建立人工智能的監(jiān)管方法，希望通過(guò)法規(guī)等方式規(guī)避相關(guān)風(fēng)險(xiǎn)。這是全球第一份針對(duì)人工智能的國(guó)際性聲明。

2.加大日常監(jiān)管力度

為強(qiáng)化新興技術(shù)影響本國(guó)關(guān)鍵基礎(chǔ)設(shè)施方面的風(fēng)險(xiǎn)控制，德國(guó)于2019年加大了本國(guó)《網(wǎng)絡(luò)安全法》的適用范圍，要求相關(guān)軟硬件供應(yīng)商向主管當(dāng)局報(bào)告涉及其產(chǎn)品的所有安全相關(guān)事項(xiàng)，確保關(guān)鍵基礎(chǔ)設(shè)施的運(yùn)行不會(huì)受到任何影響。同時(shí)，利益相關(guān)方還需要向客戶提供符合政府主管部門要求的可信賴特別聲明。新法律大幅增加了對(duì)違規(guī)行為的罰款力度，從原先的5萬(wàn)～10萬(wàn)歐元罰款提高至最高可達(dá)違規(guī)公司全球總營(yíng)業(yè)額的4%或 2000萬(wàn)歐元罰款。此外，新法還規(guī)定德國(guó)安全部門有權(quán)采取措施檢測(cè)分析公開(kāi)信息系統(tǒng)中的惡意軟件、安全漏洞和其他安全風(fēng)險(xiǎn)，防止僵尸網(wǎng)絡(luò)的傳播、加強(qiáng)物聯(lián)網(wǎng)安全，確保在德國(guó)開(kāi)展業(yè)務(wù)的公司的網(wǎng)絡(luò)安全合規(guī)性。

在監(jiān)管新興技術(shù)運(yùn)用方面，2017年8月，德國(guó)聯(lián)邦交通與數(shù)字基礎(chǔ)設(shè)施部推出全球首套《自動(dòng)駕駛倫理準(zhǔn)則》，規(guī)定了自動(dòng)駕駛汽車的行為方式。2018年，德國(guó)成立數(shù)據(jù)倫理委員會(huì)，負(fù)責(zé)為聯(lián)邦政府制定數(shù)字社會(huì)的道德標(biāo)準(zhǔn)與指引。2019年10月，委員會(huì)發(fā)布《針對(duì)數(shù)據(jù)和算法的建議》，為聯(lián)邦與數(shù)據(jù)和人工智能算法相關(guān)的問(wèn)題提出政策建議。提出分別監(jiān)管個(gè)人數(shù)據(jù)和非個(gè)人數(shù)據(jù)，平衡數(shù)據(jù)保護(hù)與數(shù)據(jù)的利用。設(shè)想制定算法評(píng)估方案，建立數(shù)字服務(wù)企業(yè)使用數(shù)據(jù)的五級(jí)風(fēng)險(xiǎn)評(píng)級(jí)制度，對(duì)不同風(fēng)險(xiǎn)類型的企業(yè)采取不同的監(jiān)管措施。對(duì)二級(jí)風(fēng)險(xiǎn)以上的企業(yè)，引入強(qiáng)制性標(biāo)記系統(tǒng)，運(yùn)營(yíng)商須明確是否、何時(shí)以及在何種程度上使用算法系統(tǒng)。一旦運(yùn)營(yíng)商接受強(qiáng)制性要求，就必須嚴(yán)格遵守此標(biāo)記，否則其負(fù)責(zé)人將承擔(dān)相應(yīng)法律責(zé)任。同時(shí)，《建議》也認(rèn)為，即使是高度自主的算法系統(tǒng)也不具有法律上的獨(dú)立地位，經(jīng)營(yíng)者使用高度自主的算法技術(shù)產(chǎn)生的賠償責(zé)任，應(yīng)與以往輔助設(shè)備負(fù)責(zé)人需要承擔(dān)的替代賠償責(zé)任相一致。

2023年以來(lái)，意大利、法國(guó)、西班牙等多個(gè)歐洲國(guó)家對(duì)美國(guó)人工智能技術(shù)ChatGPT涉嫌違法收集數(shù)據(jù)的問(wèn)題展開(kāi)了調(diào)查，歐洲數(shù)據(jù)保護(hù)委員會(huì)也成立特別工作組，幫助各國(guó)協(xié)調(diào)政策、解決隱私保護(hù)等問(wèn)題。2023年4月，德國(guó)監(jiān)管機(jī)構(gòu)表示，也將像其他歐洲國(guó)家一樣，對(duì)ChatGPT使用個(gè)人數(shù)據(jù)的行為進(jìn)行審查，并為其美國(guó)制造商OpenAI編制了一份問(wèn)卷，要求OpenAI就有關(guān)歐盟《一般數(shù)據(jù)保護(hù)條例》的一些問(wèn)題予以回復(fù)。德國(guó)監(jiān)管方表示，要核實(shí)OpenAI是否按照歐盟法律，充分告知ChatGPT使用其數(shù)據(jù)的用戶“有權(quán)訪問(wèn)、調(diào)整、刪除他們的數(shù)據(jù)”。監(jiān)管方表示，在涉及歐洲公民個(gè)人數(shù)據(jù)處理的問(wèn)題上，必須尊重歐洲的數(shù)據(jù)保護(hù)法，尤其是對(duì)未成年人相關(guān)數(shù)據(jù)的處理。

3.加大技術(shù)研究和人才培養(yǎng)

一是在教育和科研領(lǐng)域，政府持續(xù)加大對(duì)多所大學(xué)研究中心及德國(guó)人工智能研究中心的資金投入，從2018年到2022年，投入資金翻番。通過(guò)德國(guó)宇航中心，加強(qiáng)國(guó)家關(guān)鍵基礎(chǔ)設(shè)施中安全人工智能系統(tǒng)的研發(fā)，加強(qiáng)公民安全領(lǐng)域可信賴人工智能應(yīng)用研究，資助“用于信息技術(shù)安全的人工智能”等項(xiàng)目，加強(qiáng)對(duì)人工智能安全性和魯棒性（Robust）的研究等。

二是通過(guò)政府政策，重點(diǎn)支持高等教育和職業(yè)教育培養(yǎng)更多專業(yè)人才，創(chuàng)造更具吸引力的工作和研究環(huán)境。從世界各地尤其是人工智能領(lǐng)域發(fā)展比較超前的中國(guó)和美國(guó)，尋找技術(shù)專家，解決國(guó)內(nèi)技術(shù)人才短缺的問(wèn)題。

三是將相關(guān)專業(yè)知識(shí)與技能納入教育體系，提高公民整體人工智能素養(yǎng)，減少行為者與利益相關(guān)者之間的信息不對(duì)稱，努力讓包括從幼兒園到退休人士在內(nèi)的所有人都了解數(shù)字化，讓人們?cè)谌斯ぶ悄苋找姘l(fā)展?jié)B透的社會(huì)中承擔(dān)起公民責(zé)任，并發(fā)揮主觀能動(dòng)性。