大模型為什么不會(huì)數(shù)數(shù)

你應(yīng)該聽說過，現(xiàn)在的AI 大模型很厲害，能寫文章、作詩、編程序，甚至解答高難度的奧數(shù)題。但奇怪的是，有些時(shí)候，它居然會(huì)在最基礎(chǔ)的小學(xué)數(shù)學(xué)題上犯錯(cuò)！

比如，我們測(cè)試某個(gè)AI大模型時(shí)問它：“‘知識(shí)就是力量’這句話包含幾個(gè)字？”它的回答竟然是：“這句話包含4 個(gè)字?！逼鋵?shí)，這還不是個(gè)別現(xiàn)象，幾乎所有大模型都曾在數(shù)數(shù)這樣看似簡(jiǎn)單的問題上“翻車”。一個(gè)能做對(duì)奧數(shù)題的大模型，為什么曾經(jīng)連數(shù)數(shù)都不會(huì)？它們現(xiàn)在又是怎么學(xué)會(huì)的？

什么是數(shù)數(shù)？

雖然你從小就會(huì)數(shù)“1、2、3、4……”，但在數(shù)學(xué)家眼中，數(shù)數(shù)是一個(gè)非常嚴(yán)肅的問題。在19世紀(jì)，意大利數(shù)學(xué)家皮亞諾（Peano）提出了著名的皮亞諾公理，用來嚴(yán)格地定義自然數(shù)。通俗地講，其核心思想是：所有數(shù)字從0 開始，每個(gè)數(shù)字都有一個(gè)“后繼者”，你可以通過“走1 步，加1”不斷前進(jìn)，像跳格子一樣，數(shù)到任何你想要的數(shù)字。

人類天生就理解這種“一個(gè)一個(gè)數(shù)”的規(guī)則。但大模型的思維方式卻完全不同，它們不是按“走1 步，加1”的邏輯來數(shù)數(shù)的，這也是它們?cè)?jīng)不會(huì)數(shù)數(shù)的重要原因。

大模型為何不會(huì)數(shù)數(shù)？

雖然數(shù)數(shù)對(duì)我們來說是小菜一碟，但對(duì)大模型來說，過去它真的很難做好。下面是造成這個(gè)問題的幾個(gè)關(guān)鍵原因：

1.學(xué)習(xí)模仿數(shù)字使用，但不真正數(shù)數(shù)字

對(duì)人類來說，“3” 不僅是一個(gè)數(shù)字，還代表“3 個(gè)東西”，我們能通過觀察一張圖片，或者做一個(gè)動(dòng)作（加減），理解數(shù)量的真正含義。

大模型雖然也知道數(shù)字經(jīng)常和數(shù)量有關(guān)，例如，“3個(gè)蘋果”“5 只小貓”，但它是從大量文字?jǐn)?shù)據(jù)中學(xué)到的統(tǒng)計(jì)規(guī)律和關(guān)聯(lián)規(guī)則，并不是通過“觀察或理解數(shù)量本身”學(xué)會(huì)的，無法從數(shù)字中準(zhǔn)確感知具體數(shù)量，它只是在模仿語言中數(shù)字的用法，而不是真的數(shù)了一遍。

2.沒有內(nèi)置“ 計(jì)數(shù)器”或“記憶狀態(tài)”

人類數(shù)數(shù)時(shí)，會(huì)在心里默默記住“我已經(jīng)數(shù)了3個(gè)”。但大模型是“ 無狀態(tài)” 的，它在預(yù)測(cè)下一個(gè)詞時(shí)，主要靠短期上下文，缺乏維持“我現(xiàn)在數(shù)到幾”的記憶能力。

3.詞元、詞表和嵌入向量

大模型通常用一個(gè)固定大小的“詞表”來代表它能認(rèn)識(shí)的所有基本單位（詞元，token）， 每一個(gè)token 在詞表中有一個(gè)唯一的數(shù)字編號(hào)，并用一個(gè)N 維的“嵌入向量”表示其語義信息。

Token通常比我們理解的字詞更小， 在GPT-3.5-Turbo中，“知識(shí)就是力量”由7個(gè)token構(gòu)成，其中“識(shí)”由2個(gè)token 構(gòu)成。

大模型進(jìn)行文字處理的第一步是“分詞”——把句子切成詞表中token的序列。

如果這個(gè)詞表只包含到“1000”，那超過的數(shù)字就會(huì)被當(dāng)作多個(gè)token處理， 這直接影響大模型處理較大數(shù)字的準(zhǔn)確性。比如，“12345”可能被拆成“123”和“45”，數(shù)字剛好被切開，大模型就不太可能數(shù)對(duì)了。

另外，大模型詞表中相似的token 的嵌入向量表示雖然具有一定的語義相關(guān)性（ 例如，“5 和4 都是數(shù)字”，它們的嵌入向量的距離很近），卻無法表達(dá)出數(shù)字之間的大小和順序關(guān)系（例如，“5比4 大”等），那大模型自然難以完成準(zhǔn)確計(jì)數(shù)和計(jì)算。

大模型開始學(xué)習(xí)數(shù)數(shù)

最近幾個(gè)月，AI 科學(xué)家和工程師已經(jīng)采用多種有效方法，讓大模型開始學(xué)會(huì)數(shù)數(shù)。

1. 深度思考，模仿皮亞諾公理的數(shù)數(shù)過程

通過增加專門的訓(xùn)練數(shù)據(jù)（深度思考的思維鏈數(shù)據(jù)），并優(yōu)化模型結(jié)構(gòu)，一些大模型逐漸學(xué)會(huì)了“ 從0開始，走1步， 加1”的邏輯。它們模仿了皮亞諾公理的數(shù)數(shù)方式，因此保證了計(jì)數(shù)的準(zhǔn)確性。

這類大模型現(xiàn)在能準(zhǔn)確數(shù)出句子里有幾個(gè)字、段落里有多少句話，甚至能數(shù)出圖片里有幾只小貓（看圖數(shù)數(shù)，這需要結(jié)合圖像識(shí)別+語言理解+數(shù)數(shù)邏輯）。

2.調(diào)用外部數(shù)學(xué)工具，進(jìn)行自我檢驗(yàn)

還有一些大模型學(xué)會(huì)了調(diào)用外部數(shù)學(xué)工具和編寫程序，例如Wolfram Alpha或內(nèi)置的計(jì)算模塊。它們?cè)诮拥綌?shù)數(shù)任務(wù)時(shí)，會(huì)像學(xué)生一樣使用“計(jì)算器”獲得計(jì)算結(jié)果，再用自身邏輯驗(yàn)證答案是否合理，全面提高了計(jì)數(shù)的準(zhǔn)確性。

通過這些改進(jìn)方法，大模型不僅能模仿數(shù)數(shù)，還將能模仿乘法、除法、組合、遞歸等數(shù)學(xué)運(yùn)算，學(xué)會(huì)真正的“數(shù)學(xué)思考過程”，甚至學(xué)會(huì)邏輯和因果。

如今，大模型已經(jīng)可以非常穩(wěn)定地完成各種數(shù)數(shù)任務(wù)了，這個(gè)過程，正是大模型逐步成長(zhǎng)的見證。

在強(qiáng)大的深度思考、調(diào)用工具和自我檢驗(yàn)等能力加持下，大模型正在從“會(huì)說話”，走向“能計(jì)算”“善思考”。也許未來，大模型不只是我們的助手，也會(huì)成為我們的數(shù)學(xué)老師，陪我們一起，一步一步數(shù)到無限遠(yuǎn)。

（摘自《知識(shí)就是力量》2025年第7期，魏克圖）