新方法避免大語言模型“胡言亂語”

目前，大語言模型逐漸成為文學(xué)、法律、醫(yī)學(xué)、自然科學(xué)研究等領(lǐng)域中不可或缺的工具。然而，在應(yīng)用過程中，大語言模型常會出現(xiàn) “幻覺”現(xiàn)象——可能生成看似合理但實際并不準(zhǔn)確或不真實的信息。

英國牛津大學(xué)研究團(tuán)隊近日在國際學(xué)術(shù)期刊《自然》上發(fā)表論文，嘗試解決大語言模型輸出中的這種“幻覺”現(xiàn)象，從而提高輸出的可信性。通過評估大語言模型在特定提示詞下生成內(nèi)容時的不確定性，可計算出該模型的困惑程度。作為一種警示，它提醒用戶或模型自身采取額外的循證措施，以確保更準(zhǔn)確地輸出答案。

為了更準(zhǔn)確衡量模型的困惑程度，該論文引入了“語義熵”概念來計算輸出的不確定性。所謂語義熵，實際上是信息熵的一種，用于衡量一個物理系統(tǒng)中所包含的信息量。

為了簡單理解“熵”所表示的意思，我們可以想象一個人在岔路口時作出判斷的情形：如果這個人向左走或向右走的概率相同，那么這是“熵”的最大情況，代表信息不確定性的極大值，說明這個人對前方的路完全沒有把握；而如果這個人總是選擇向左走，從不選擇向右走，則這是“熵”的最小情況，代表信息不確定性的極小值，說明這個人對前方的路完全有把握。

利用語義熵概念，研究人員對包括GPT-4和LLaMA2在內(nèi)的多個大語言模型進(jìn)行深入研究。結(jié)果顯示，語義熵在所有模型和數(shù)據(jù)集上的表現(xiàn)都非常出色，是目前用于評估模型困惑程度的最佳方法，能有效識別出大語言模型是否在“胡言亂語”。另外，通過對大語言模型進(jìn)行反復(fù)提問，我們可以有效地定量計算出它對問題答案的不確定程度，并通過拒絕回答不確定的問題來提高輸出答案的整體準(zhǔn)確度。

值得注意的是，大語言模型輸出答案具有很低的語義熵，只意味著它在其已有的訓(xùn)練數(shù)據(jù)基礎(chǔ)上確信自己答案是正確的。這表明大語言模型有極高概率生成單一語義的句子，但這些句子是否實際正確仍無法完全保證。

（據(jù)中新社訊）