AI的對(duì)齊

最近幾天，各網(wǎng)絡(luò)平臺(tái)都被“中專(zhuān)女生姜萍在阿里數(shù)學(xué)競(jìng)賽初賽中取得全球12名的好成績(jī)”刷屏，而姜萍也被人們冠以“天才少女”的名號(hào)。

但是很快，風(fēng)向開(kāi)始反轉(zhuǎn)，從板書(shū)錯(cuò)誤到比賽作弊，質(zhì)疑的聲音不斷出現(xiàn)，造神演變?yōu)闅瘛Ｈ欢眠@件事去問(wèn)AI，AI的回答卻中規(guī)中矩，表達(dá)了欽佩和鼓勵(lì)以及公正客觀的評(píng)價(jià)，仿佛一位三觀很正的智者。尤其是，AI還提到了教育多樣性和包容性。

在網(wǎng)絡(luò)熱點(diǎn)事件中，AI為什么會(huì)比常人更為理性、更切合主流價(jià)值觀呢？

人工智能的發(fā)展和進(jìn)步一直暗藏著對(duì)人類(lèi)的威脅，無(wú)論是技術(shù)上還是倫理上，一旦失控都會(huì)造成災(zāi)難性的后果，因此，人們對(duì)AI的發(fā)展進(jìn)化也總是小心翼翼。尤其對(duì)于機(jī)器學(xué)習(xí)而言，它究竟會(huì)“學(xué)習(xí)”到什么樣的結(jié)論和過(guò)程，學(xué)到的東西是“正確”還是“錯(cuò)誤”的，在大模型的訓(xùn)練中，如何保證“投喂”的數(shù)據(jù)是可靠的，如何標(biāo)注和剔除有問(wèn)題的數(shù)據(jù)，如何讓AI的價(jià)值觀與人類(lèi)保持一致，這些都是人工智能研究必須考慮的。

大模型訓(xùn)練的結(jié)果的對(duì)與錯(cuò)，是以人類(lèi)的價(jià)值觀為導(dǎo)向的。AI的決策和行為是否與人類(lèi)的價(jià)值觀相符？或者說(shuō)，如何讓AI系統(tǒng)的目標(biāo)和人類(lèi)的價(jià)值觀與利益保持一致，即保持“價(jià)值對(duì)齊”？這也成為一個(gè)現(xiàn)實(shí)問(wèn)題。

人工智能大模型的對(duì)齊問(wèn)題，即“AI對(duì)齊”（AI alignment），這是一個(gè)涉及AI控制與AI安全的關(guān)鍵環(huán)節(jié)。大模型的第一步，就是要跟人類(lèi)的價(jià)值觀對(duì)齊。價(jià)值觀的對(duì)齊意味著AI系統(tǒng)在執(zhí)行任務(wù)時(shí)，能夠遵循人類(lèi)的道德標(biāo)準(zhǔn)和社會(huì)規(guī)范，避免造成倫理沖突和道德困境。

AI系統(tǒng)是基于數(shù)據(jù)和算法構(gòu)建的，缺乏人類(lèi)的直覺(jué)、情感和經(jīng)驗(yàn)，這導(dǎo)致AI在處理某些問(wèn)題時(shí)可能與人類(lèi)的價(jià)值觀存在偏差。例如，在自動(dòng)駕駛汽車(chē)的道德困境中，AI可能無(wú)法像人類(lèi)那樣做出符合道德直覺(jué)的決策。

AI遵循的規(guī)范來(lái)自機(jī)器學(xué)習(xí)，通過(guò)大量學(xué)習(xí)人類(lèi)行為，讓AI“搞清楚”人類(lèi)行為規(guī)則，然后按照規(guī)則來(lái)行事。布萊恩·克里斯汀在《人機(jī)對(duì)齊》一書(shū)中寫(xiě)道：“如何確保這些模型捕捉到我們的規(guī)范和價(jià)值觀，理解我們的意思或意圖，最重要的是，以我們想要的方式行事，已成為計(jì)算機(jī)科學(xué)領(lǐng)域最核心、最緊迫的問(wèn)題之一。”

但是人類(lèi)并沒(méi)有統(tǒng)一的價(jià)值觀，人類(lèi)的主流價(jià)值觀也不斷變化。不同的文化、宗教和個(gè)人背景也會(huì)導(dǎo)致價(jià)值觀的差異，AI如何在不同的價(jià)值觀之間做出平衡，是一個(gè)巨大的挑戰(zhàn)。在構(gòu)建AI系統(tǒng)時(shí)，應(yīng)確保使用的數(shù)據(jù)集具有多樣性，以反映不同文化和社會(huì)的價(jià)值觀。許多價(jià)值觀并非絕對(duì)清晰，它們可能存在灰色地帶，AI如何理解和處理這些模糊的價(jià)值觀，也需要深入研究。價(jià)值觀的對(duì)齊需要哲學(xué)、心理學(xué)等多個(gè)學(xué)科的合作，以全面理解人類(lèi)價(jià)值觀的復(fù)雜性。

價(jià)值觀與AI對(duì)齊是一個(gè)復(fù)雜但至關(guān)重要的過(guò)程，它關(guān)系到AI技術(shù)的健康發(fā)展。在醫(yī)療領(lǐng)域，AI的決策可能涉及生命的優(yōu)先權(quán)問(wèn)題，通過(guò)對(duì)齊價(jià)值觀，AI可以更好地遵循醫(yī)療倫理，做出符合人類(lèi)價(jià)值觀的決策。社交媒體AI在內(nèi)容推薦時(shí)可能會(huì)表現(xiàn)出偏見(jiàn)，通過(guò)價(jià)值觀對(duì)齊，可以減少偏見(jiàn)，促進(jìn)信息的公平傳播。AI系統(tǒng)在實(shí)際應(yīng)用中也需要持續(xù)的監(jiān)督和調(diào)整，以確保其行為與人類(lèi)的價(jià)值觀保持一致。

價(jià)值觀對(duì)齊，可以看作AI頭上的緊箍咒。也許只有等到AI系統(tǒng)能夠在各種復(fù)雜環(huán)境下自主推理人類(lèi)的終極價(jià)值目標(biāo)，那時(shí)候，才能實(shí)現(xiàn)“超級(jí)對(duì)齊”。