我有一位朋友小G,身為博物館策展人,受過良好學術訓練的她對歷史考據嚴謹到近乎偏執。兩年前,ChatGPT嶄露頭角,不少人陷入職業焦慮,小G卻毫不在意,她將這類AI統統稱為“人工智障”,覺得它們輸出的內容既淺薄又荒謬,根本無法撼動她在專業領域的自信。但隨著DeepSeek重掀熱潮,被工作期限逼得焦頭爛額的小G,也不得不向AI求助了。她要為歷史展品編寫通俗易懂的場景解說,便向DeepSeek詢問:請從錢莊伙計的視角,講講在沒有科技設備的年代,在工作中會遇到哪些困難?
很快,DeepSeek便交出一份“錢莊工作手記”,其中詳細描寫了“天未亮就要在桐油燈下核對賬目”的年輕伙計,“用長柄放大鏡查驗銀票邊角的暗記紋路”的掌柜師傅,甚至還提到了“蘇漕平每百兩扣二錢五”這樣的專業細節。“蘇漕平”可不是一般人能知曉的術語(漕平,舊時征收漕銀的衡量標準,各地標準不同,一般冠以地名)。這讓小G眼前一亮,她在聊天群里興奮夸贊:“確實啟發效果不錯,比以前的人工智障強多了!”然而,僅僅5小時后,她的態度就來了個180度大轉彎:“好多內容是它瞎編的!給我編了個錢莊使用的套色密押印章組,本來還覺得很有道理,但仔細一查,根本就沒有這個東西…”
不甘心的小G試圖要求AI在生成文本同時提供參考文獻,可新生成的說明里,不僅“騎縫章”“法幣券”等真實元素與“驗鈔機”“美鈔暗記對照表”等虛構情節交織,給出的參考文獻更是子虛烏有,小G只能無奈吐槽:“我現在不得不對它寫的東西做事實驗證,可我又不是它導師….”
被AI坑過的不止小G。隨著生成式
AI的普及,越來越多的人發現,表面上無所不知的AI,有時會煞有介事地編造看似合理實則虛假的內容。這種現象,被研究者們稱為“AI幻覺”。
要明白“AI幻覺”,得先搞清楚生成式AI的工作原理。很多人從新聞中的“大語言模型”一詞展開想象,以為ChatGPT或DeepSeek像是一個擁有龐大數據庫的搜索引擎,能像翻書查文獻一樣給我們的問題提供準確答案。但其實,今天的生成式AI更像是一個沉浸在語料庫海洋中學習說話的學習者,它不是在查找答案,而是在預測下一個要說的最合理的詞是什么。
這個學習者有專屬的大腦結構,就是Transformer深度學習模型。Trans-former處理語言時,首先把輸入的句子拆成一組包含位置信息的詞元,并用數字對詞元編碼,以方便計算機處理。一個詞元可能是一個單詞,也可能是一個詞根、數字或標點等類似單詞的東西,比如“生成式AI”可能被拆為“生成”“式”“A”“I”,Transformer可能被拆成“Trans”“former”,這種拆分能讓AI更靈活地處理各種語言。
Transformer模型的核心是注意力機制。在處理好詞元后,它會對輸入句子中的每個詞元計算上下文中的哪些詞元與它相關,借此捕捉句子中遠距離詞語的聯系。
想象一下你讀到“陰雨連綿,小伙計仍然要”這半句話時,大腦會關注“陰雨”,并依據“仍然”的轉折語義,推斷接下來小伙計應該不會進行一個適宜雨天的行為,由此判斷后面可能出現“出門”之類的戶外行動。
AI的注意力機制也是如此,分析詞元關聯,確定“注意”重點,綜合注意力權重產生新的語義矢量,最終輸出基于前文預測的下一個詞元的概率分布。
AI訓練時用了大量高質量文本和書籍等資源,最基本的訓練任務就是從這些文本中摘取段落,讓模型盡可能準確地預測后續應該出現的詞元。之后,還會對模型應用領域內的相關文本進行微調。所以,從內部結構到訓練過程,AI都沒有“理解詞意”這一步。
人類回答問題時會試圖基于知識進行聯想推理,而AI則基于訓練數據中觀察到的語言模式生成答案,它不理解問題,只是按統計規律給出看似合理的輸出,因此也有研究者用“隨機鸚鵡”形容大語言模型的這一特性。
這就解釋了小G為何會得到“套色密押印章組”這種幻覺回答。AI處理晚清錢莊歷史問題時,注意力機制關聯訓練數據中與“錢莊”“防偽”等相關的所有信息。但它不理解詞元的含義,也不區分信息真假,僅按統計關聯性選擇看似“最可能”的組合。訓練數據里,古代金融機構需要防偽,印章是認證工具,套色是印刷技術,密押是銀票防偽暗記,這些碎片信息被概率重組,就創造出了看似專業合理實際并不存在的歷史細節。
(摘自微信公眾號“三聯生活周刊”)