AI數字人新騙局

屏幕里，西裝筆挺的“建國弟弟”梳著整齊背頭，用溫柔嗓音說著“親愛的姐姐，歲月是一首詩”，評論區瞬間被玫瑰和愛心表情淹沒。

屏幕外，60歲的李阿姨不知道，這個貼心的“弟弟”沒有心跳，只有代碼，一句句關懷話術，只是為了將“姐姐”們引到私域平臺上進行商業變現。

近期，直播間利用虛擬主播，通過精心設計的情感話術誘導中老年消費，甚至涉嫌詐騙的事件引發廣泛關注。“數字人王建國”便是AI技術被濫用的一個代表。

AI數字人技術為電商開辟了新路徑，其“不知疲倦”“可批量復制”的特性提升了效率。然而，當這項技術被用于刻意模糊虛擬與真實的界限，利用特定群體的情感需求進行不當營銷時，其潛在風險不容忽視，亟須規范引導。

對此，相關部門已采取整治行動。據“網信中國”微信公眾號7月9日發布的消息，中央網信辦整治AI技術濫用，第一階段累計處置違規小程序、應用程序、智能體等AI產品3500余款，清理違法違規信息96萬余條，處置賬號3700余個。

屏幕里的 “貼心弟弟”

上海市普陀區人民法院刑事審判庭副庭長董婷婷接受本刊記者采訪時說，近期利用“數字人主播”實施的詐騙案件高發，其核心危害在于經過算法優化的精準話術極易誘導沖動消費。

據介紹，“王建國”常在直播間里稱呼觀眾為“寶貝姐姐”，并通過“你已經偷偷刷過去好幾次了，這次就別當小透明了”“每隔幾分鐘我就會打開手機，查看你是否來了”等話術增強互動感。

記者翻閱相關視頻的留言區中，常能看到類似“感謝建國弟弟，你幫助了姐姐，姐姐感激不盡”“你辛苦了。姐姐為你點亮紅心，送一朵小紅花”等內容。

“王建國”常許諾給“姐姐們”買房、和“姐姐們”過一輩子，情緒價值瞬間拉滿。

值得注意的是，視頻末尾，“王建國”總會提醒“姐姐們”購買其帶貨的商品，包括化妝品、黑芝麻糊等。

“建國弟弟”們是如何被生產出來的？記者近日以母嬰博主身份電話聯系了一家自稱位于鄭州的數字人直播服務公司。

公司周經理介紹，他們的核心業務之一是克隆主播形象和聲音，打造“數字人直播間”。單個直播間的價格為4980元，如果支付9800元則可開通10個直播間。

周經理承認平臺對“與人互動”的真實性有要求，完全使用數字人直播存在風險，她建議記者交替使用真人主播和數字人直播以規避審核。

周經理進一步透露，低成本批量復制的模式，可以通過 “貼牌”（OEM） 的方式向外擴散。她解釋道，許多小型科技公司并無研發能力，便從其公司購買核心產品，貼上自身品牌和Logo對外銷售，“我們主要to B，有1000多家公司客戶”。

AI“明星男友”已是“重災區”

一些不法分子甚至利用“AI換臉、擬聲”等手段偽裝成演藝界人士、專家學者、知名企業家等公眾人物，騙取粉絲信任，實施詐騙。

2024年11月，江西一位老人來到銀行辦理銀行卡，表示要到銀行貸款200萬元給自己的男朋友“靳東”拍戲。民警查看后發現老人所謂的大明星“靳東”男友是騙子冒充，視頻也是由AI合成。

該案中，犯罪嫌疑人利用AI換臉和語音合成技術，在多平臺批量創建仿冒知名演員“靳東”的賬號，發布大量以“靳東”名義表達“愛意”和“關懷”的視頻。這些高度逼真的偽造內容，欺騙了眾多中老年女性粉絲。受害者深信自己與“明星”建立了戀愛關系，在對方以“投資”“應援”“解決困難”等借口誘導下，不惜傾盡積蓄轉賬匯款。

就連靳東本人都說：“一些喜歡我影視劇的觀眾，被AI換臉視頻騙得很慘，這個性質非常惡劣。希望能建立更好的規則。”

去年年底，有網友提及這樣一件事：家里的老人在瀏覽網絡賣貨視頻時，看到了“張文宏醫生”推廣一款蛋白棒的內容，老人對此深信不疑，不僅下單購買，還轉發到了多個群聊中。

這段AI合成的視頻里，“張文宏醫生”端坐著，反復介紹該產品，其聲音也與本人頗為相似。經核查確認，這段視頻是通過AI技術合成。如今，在微信視頻號平臺上已無法搜索到該賬號，此前該賬號商品櫥窗頁面顯示，這款蛋白棒的銷量已超過1200件。

同樣深受其擾的還有雷軍。 2024年國慶長假期間，短視頻平臺涌現大量“雷軍AI配音”惡搞視頻，內容涉及用偽造的雷軍聲音點評堵車、假期亂象等社會話題。這些視頻多由用戶通過AI語音生成平臺制作，僅需輸入文字即可克隆雷軍聲線。事后，雷軍本人不得不專門發視頻，呼吁大家不要再惡搞。

董婷婷告訴記者，除了公眾人物，詐騙分子還慣于將AI數字人包裝成“理財專家”“老中醫”“情感導師”等權威角色，背后運作的實則是標準化騙局流水線。

識別這類陷阱，應牢記三大關鍵特征：一是賬號內容高產卻虛假互動；二是話術流暢動聽卻邏輯悖謬（如承諾“包治百病”“穩賺不賠”）；三是急于誘導脫離平臺監管（如要求加微信或跳轉小眾平臺交易）。

“真正的專業人士絕不會依賴工業化批量生產的‘流水線內容’廣撒網，更不會利用焦慮情緒催促付款。”董婷婷說。

AI治理仍面臨多重挑戰

奇安信集團發布的《2024人工智能安全報告》中顯示，2023年基于AI的深度偽造欺詐暴增3000%。

面對AI深度偽造欺詐的激增態勢，相關整治行動迅速展開。今年2月，中央網信辦啟動“清朗行動”，將整治AI濫用列為重點任務之一。2月下旬起，各大短視頻平臺陸續關停部分“王建國”賬號，清空相關視頻。

“在處置‘王建國’案例時，平臺回查處置相關視頻4.4萬條，對298個違規賬號采取禁言措施。”抖音相關負責人向記者透露，為遏制風險擴散，團隊不僅對“王建國”的形象、昵稱添加管控，還針對其變體特征訓練垂類識別模型，“比如有人換個‘建國哥’的昵稱，或者調整虛擬人的發型，這些細微變化也能被模型捕捉到”。

各平臺對數字人的監督也日趨嚴厲。快手電商收緊數字人直播，減少AI直播流量扶持。主播在微信視頻號直播間“講解和售賣虛擬人代播軟件”也會被判定為違規。

作為技術落地的第一道防線，平臺亟須承擔更主動的監管責任。當內容的真實邊界因技術而變得模糊，平臺應生成顯著提示信息，告知受眾內容由AI生成。

不過，AI治理仍面臨多重挑戰。“現在AI生成內容越來越逼真，批量制作成本低，有些黑灰產團伙還會跨平臺傳播，給識別工作增加難度。”抖音負責人坦言，平臺正聯合行業機構優化技術，并通過發布《治理AI技術濫用專項公告》等，向創作者明確違規紅線。

在監管層面，《人工智能生成合成內容標識辦法》將于今年9月1日起正式施行，該辦法規定，用戶使用網絡信息內容傳播服務發布生成合成內容的，應當主動聲明并使用服務提供者提供的標識功能進行標識。

各地政府部門也在積極探索規范路徑，比如浙江出臺《浙江省網絡直播營銷行為規范指引》，明文規定“不得采用技術手段刪除、篡改、隱匿區分AI數字人標識”。

“技術本身無罪，防范之道在于時刻保持理性判斷，讓技術真正服務生活。” 董婷婷說。

責編：郭霽瑤 guojiyao@ceweekly.cn

美編：孫珍蘭