小心“AI幻覺”

AI依賴癥

2025年年初，各類大模型開放，AI的興起改變了人們的日常生活。作家借助算法優(yōu)化詩句結構，養(yǎng)生愛好者用AI定制健康食譜，失眠者深夜與AI對話疏解焦慮，股民們甚至樂此不疲地解讀著AI生成的各類理財建議……

證券分析師小宋的工位上有3塊曲面顯示屏，上面終日流淌著數(shù)據(jù)瀑布。2023年6月，他開始使用AI軟件ChatGPT作為工作助手。“瞬析上百份財報、一分鐘生成深度報告，人肯定是做不到。”小宋覺得，ChatGPT能很快做出反應并處理問題，讓他的報告產(chǎn)出效率躍升。當其他同事還在手動整理全國幾十家半導體企業(yè)財報時，AI已經(jīng)幫他抓取了關鍵參數(shù)，“某半導體集團的資本開支數(shù)據(jù)、驅(qū)動芯片占全球市場的份額、全球半導體銷售額……”小宋的手指反復在鍵盤上跳躍，這些復雜的數(shù)據(jù)在短短30秒內(nèi)被制成了一張圖表。

小宋沉浸在一種AI帶來的時間紅利中。曾經(jīng)需要通宵解析的市場波動，現(xiàn)在只需要一杯茶的工夫，就變成了電腦屏幕上跳動的概率曲線，這些由AI算法托起的輕舟，載著他穿越信息的洪流。

類似的感受，王賀也有。他是北京一家網(wǎng)絡安全公司的產(chǎn)品研發(fā)工程師，通宵篩查警報代碼是常態(tài)，每天的工作是在電腦前設計各類殺毒軟件和防火墻，不斷模擬黑客攻擊來測試這些防護系統(tǒng)的漏洞，直到確認沒有任何非法闖入的途徑。2024年，團隊正式將AI應用到工作中，在自動化滲透測試中，AI可以自動生成百萬級測試用例，3秒定位某金融APP支付接口的越權漏洞。而同樣的工作，人工測試則需4小時。

“就像打仗的時候，士兵不再拼刺刀，但需要更高維的戰(zhàn)術指揮能力。”王賀覺得，他的時間不再消耗在顯微鏡式的漏洞追蹤上，轉而可以聚焦于設計防御算法上。

AI幻覺“陷阱”

2月26日，北京大學第三醫(yī)院的心內(nèi)科診室里，兩種治療方案在診臺上對峙：左側是心內(nèi)科大夫汪京嘉開出的一份用于治療高血脂的醫(yī)囑，右側是人工智能軟件生成的處方。

“汪大夫，您給開的口服藥太溫和，AI建議注射瑞百安，說是降脂快。”患者從AI上得到建議，注射類藥物短期耐受性良好，而且僅需隔周注射一次，比每日服用藥物方便許多。汪京嘉用手指了指報告：“他汀類藥物對肝臟負擔更小，您的報告顯示轉氨酶偏高。”之后，他花了不少時間向患者解釋，為什么就患者的情況，使用注射劑可能會加重肝臟代謝負擔。

不止在醫(yī)療界，類似的認知拉鋸正在各種行業(yè)上演。

這個月，小宋第4次捕捉到AI的錯誤。在撰寫一份行業(yè)報告前，他想在AI上收集一些有效數(shù)據(jù)，ChatGPT為他生成了一份《存儲芯片行業(yè)Q1預測》：“三星電子將在西安擴產(chǎn)”“臺積電產(chǎn)能釋放帶動需求，某電子元件公司預計營收增長22.3%”……檢索過一輪之后，小宋意識到，這些快速生成的數(shù)據(jù)和信息并不真實。“AI給出的資料里甚至還附上了開發(fā)區(qū)管委會的紅頭文件編號，但仔細一查，根本就沒有這個東西。”

所謂AI幻覺，通常是指大語言模型生成的內(nèi)容無意義、不符合事實、邏輯自相矛盾，甚至完全不準確的輸出。中國信通院人工智能研究所副所長巫彤寧用生活化類比解釋了AI幻覺的成因，“就像一個人雖然能流利地說話，但并不一定每句話都符合事實。”由于AI無法像人類那樣理解事實的邏輯，因此，當遇到需要深度推理的問題時，這種基于概率的創(chuàng)作機制就容易催生看似合理實則錯漏百出的“專業(yè)謊言”。

這種幻覺帶來的信息污染開始侵蝕小宋的工作，最危險的失誤發(fā)生在今年1月。一次實地調(diào)研中，某半導體公司的銷售總監(jiān)聊到“刻蝕機交貨期從半年延長到7個半月”時，小宋突然意識到，自己上周發(fā)布的行業(yè)報告里，關于芯片設備供應周期的預測數(shù)據(jù)，還在使用AI系統(tǒng)中存儲的舊參數(shù)。這意味著，所有基于該數(shù)據(jù)的投資建議都存在偏差。在小宋所在的證券行業(yè)，這種錯誤是“致命”的。

“AI幻覺”導致的偏差，也正成為自動駕駛研發(fā)的棘手難題。

上海臨港的自動駕駛測試場內(nèi)，某車企自動駕駛研發(fā)部的劉璐摘下AR眼鏡，盯著監(jiān)控屏上的異常軌跡皺起眉頭，這是本周第三起誤觸發(fā)事件。測試汽車在通過無標線道路時，突然對右側綠化區(qū)實施緊急制動，回放測試錄像發(fā)現(xiàn)，雷達將隨風擺動的塑料棚膜識別成橫穿馬路的行人，而攝像頭因逆光未能及時修正。而在另外一次冬日郊外測試中，激光雷達曾將雪地里跳躍的太陽光影群誤判為滾石，引發(fā)急剎。這些人類司機可以輕松識別的道路信息，卻是AI系統(tǒng)無法準確理解的“視覺陷阱”。

材料專業(yè)的大四學生靜文也有過被AI“欺騙”的經(jīng)歷。她在準備一篇論文時，通過AI整理“量子點材料”研究進展，系統(tǒng)洋洋灑灑列出27篇參考文獻，可當她逐條核實時，發(fā)現(xiàn)27篇參考文獻中，只有3篇真實存在，而這3篇里壓根沒有關于“量子點材料突破”的學術信息。

人機博弈

作為程序員，王賀給AI系統(tǒng)設置了一個準則，只允許它“學習”國家網(wǎng)絡安全機構認證的病毒樣本庫，來路不明的網(wǎng)絡攻擊案例，必須先經(jīng)過人工審核，才能放入清單。他覺得，AI的使用者不能被大模型所主導，而應該主導大模型。

最近，劉璐和團隊像教新手司機認路一樣，給自動駕駛系統(tǒng)添加了“辨別課”。他們讓AI反復學習數(shù)萬種光影類別，有時是進出隧道時忽明忽暗的強光，有時是雨天車窗上跳躍的水珠反光，還有高樓玻璃幕墻在陽光下制造的“假紅綠燈”。“就像駕校教練會帶學員到復雜路段實地訓練。”劉璐解釋，他們希望通過“辨別課”讓系統(tǒng)學會做判斷，從而有效減少測試車輛被迷惑而突然剎車，就像老司機能一眼分清霓虹燈和真正的交通信號。

AI幻覺能不能徹底被消除？在行業(yè)專家巫彤寧看來，平衡創(chuàng)造性與真實性的關鍵在于構建雙重防護體系：首先要提高大模型學習知識的質(zhì)量，通過嚴格的知識篩選，提高喂給大模型數(shù)據(jù)的質(zhì)量，從而從根本上降低產(chǎn)生幻覺的可能性；其次，應建立用戶糾錯機制：讓用戶在使用中實時反饋模型輸出中的錯誤或不準確之處，這些反饋能像錯題本一樣幫AI記住教訓，越用越準。

除此之外，巫彤寧經(jīng)常呼吁，讓大模型分場景工作，針對法律、醫(yī)療等低容錯率領域，強制激活“嚴謹模式”，要求模型檢索最新權威資料并標注來源；而面對創(chuàng)意需求時則開放聯(lián)想空間，允許“開腦洞”，為用戶帶來更多靈感。

“我們要做的，是找到人工智能和人類中間的平衡。”巫彤寧說。徹底消除幻覺并不現(xiàn)實，而在AI信息爆炸時代，始終保持獨立思考的能力、辨別信息真?zhèn)蔚哪芰Ρ全@取信息的能力更寶貴。

摘自“剝洋蔥people”