從ChatGPT看浙江人工智能發(fā)展

文｜侯 瑞

ChatGPT上線至今，已經(jīng)實現(xiàn)用戶數(shù)破億，成為有史以來增長最快的消費者應(yīng)用。ChatGPT的成功預示著大數(shù)據(jù)技術(shù)仍然是人工智能未來發(fā)展的一個主要方向，也是目前開發(fā)通用人工智能技術(shù)（AGI）的最佳路徑。搶抓生成式大型語言模型發(fā)展機遇，前瞻性布局關(guān)鍵核心技術(shù)與重大應(yīng)用場景，是堅持創(chuàng)新制勝、努力搶占未來競爭制高點、大力實施數(shù)字經(jīng)濟創(chuàng)新提質(zhì)“一號發(fā)展工程”的重要抓手。

ChatGPT的技術(shù)原理與歷史沿革

ChatGPT是由美國人工智能研究實驗室OpenAI研發(fā)的聊天機器人程序，是人工智能技術(shù)驅(qū)動的自然語言處理工具。ChatGPT中 Chat的 意 思 是“ 聊天”，GPT的 全 稱 是generative pre—training，意思是“生成性預訓練”。它是用Transformer架構(gòu)的預訓練語言模型，通過預測單詞序列中下一個單詞來學習語言關(guān)系的。ChatGPT主要是通過人類反饋強化學習的“自我完善”過程。通俗來說，就是由人類專家對AI輸出的結(jié)果進行標注，訓練出一個“獎勵函數(shù)”，該函數(shù)能夠進一步對計算結(jié)果進行評估打分，促使AI不斷調(diào)整參數(shù)權(quán)重，逐步生成更加準確、符合人類語言習慣與價值偏好的回答。

ChatGPT是由美國人工智能研究實驗室OpenAI研發(fā)的聊天機器人程序，是人工智能技術(shù)驅(qū)動的自然語言處理工具。

ChatGPT受到關(guān)注的重要原因是引入新技術(shù)RLHF （基于人類反饋的強化學習）。RLHF 解決了生成模型的一個核心問題，即如何讓人工智能模型的產(chǎn)出和人類的常識、認知、需求、價值觀保持一致。ChatGPT是AIGC（人工智能生成內(nèi)容）技術(shù)進展的成果。該模型能夠促進利用人工智能進行內(nèi)容創(chuàng)作、提升內(nèi)容生產(chǎn)效率與豐富度。

ChatGPT并不是從天而降，從2015年OpenAI成 立， 到2022年 推 出ChatGPT， 經(jīng)歷了長達八年的磨礪。從技術(shù)范式的角度來看，ChatGPT大致經(jīng)歷了四個發(fā)展階段。

初代GPT—1（2018年）采取的是生成式預訓練模型Transform，這是一種采用自注意力機制的深度學習模型。GPT-1的方法包含預訓練和微調(diào)兩個階段，預訓練遵循的是語言模型的目標，微調(diào)過程遵循的是文本生成任務(wù)的目的。由此，GPT—1具有較強的語言生成能力。GPT—2（2019年）適用的任務(wù)鎖定在語言模型，它擁有和GPT—1一樣的模型結(jié)構(gòu)，但得益于更高的數(shù)據(jù)質(zhì)量和更大的數(shù)據(jù)規(guī)模，GPT—2有了驚人的生成能力。它可以生成語言，并且在一定程度上準確識別語言。但其在接受音樂和講故事等專業(yè)領(lǐng)域任務(wù)時表現(xiàn)很不好。GPT—3（2020年）將GPT模型提升到全新的高度，其訓練參數(shù)是GPT—2的10倍以上，技術(shù)路線上則去掉了初代GPT的微調(diào)步驟，直接輸入自然語言當作指示，給GPT訓練讀過文字和句子后可接續(xù)問題的能力，同時包含了更為廣泛的主題。它可以生成各種類型的文本，可以理解文本的語義。ChatGPT（2022年）由效果比GPT—3更強大的GPT—3.5系列模型提供支持，這些模型使用微軟Azure AI超級計算基礎(chǔ)設(shè)施上的文本和代碼數(shù)據(jù)進行訓練。具體來說，ChatGPT在一個開源數(shù)據(jù)集上進行訓練，訓練參數(shù)是前代GPT—3的10倍以上，同時還新引入了人工標注數(shù)據(jù)、強化學習等兩項功能，實現(xiàn)了在與人類互動時從反饋中強化學習。因此，ChatGPT的語言處理功能變得非常強大，它既能理解人類不同指令的含義，又會甄別高水準答案，還能處理多元化的主題任務(wù)，既可以回答用戶后續(xù)問題，也可以質(zhì)疑錯誤問題和拒絕不適當?shù)恼埱蟆?/p>

ChatGPT引發(fā)的產(chǎn)業(yè)變革與社會風險

ChatGPT不僅是新一代聊天機器人的突破，也將為信息產(chǎn)業(yè)帶來巨大變革，但由此帶來的學術(shù)造假、技術(shù)濫用、輿論安全等風險亦不容忽視。

ChatGPT是人工智能技術(shù)“量變”引發(fā)“質(zhì)變”的代表。ChatGPT創(chuàng)新浪潮的突破點是大語言模型，ChatGPT并不是技術(shù)本身，它只是“大模型”的產(chǎn)物和嘗試。ChatGPT在GPT模型基礎(chǔ)上，采用人類反饋強化學習（RLHF）的訓練機制和提示導引模式，促使模型越來越順應(yīng)人類的思考邏輯，更加符合人類認知和習慣，這是工程實現(xiàn)上的重要創(chuàng)新。“大語言模型”的成功，意味著之前卡住人工智能自然語言處理發(fā)展的技術(shù)瓶頸被突破，也預示著這一技術(shù)路線未來可能誕生很多創(chuàng)新。

ChatGPT大模型訓練將帶來高算力需求，或?qū)㈤_啟算力霸權(quán)時代。訓練ChatGPT需要使用大量算力資源。據(jù)微軟官網(wǎng)介紹，微軟Azure為OpenAI開發(fā)的超級計算機是一個單一系統(tǒng)，具有超過28.5萬個CPU核心、1萬個GPU和400 GB/s的GPU服務(wù)器網(wǎng)絡(luò)傳輸帶寬。同時，算力資源的大量消耗，將推動算力成本上升，進而引致算力使用者集聚在少數(shù)企業(yè)或組織。據(jù)此，未來擁有更豐富算力資源的模型開發(fā)者，或?qū)⒛軌蛴柧毘龈鼉?yōu)秀的AI模型，進而可能開啟算力霸權(quán)時代。

大模型訓練熱潮下，算力基礎(chǔ)設(shè)施有望迎來產(chǎn)業(yè)機遇。ChatGPT發(fā)布后引發(fā)了全球范圍的關(guān)注和討論，國內(nèi)各大廠商相繼宣布GPT模型開發(fā)計劃。同時，以GPT模型為代表的AI大模型訓練，需要消耗大量算力資源。隨著國產(chǎn)大模型開發(fā)陸續(xù)進入預訓練階段，算力需求持續(xù)釋放或?qū)铀懔A(chǔ)設(shè)施產(chǎn)業(yè)迎來增長新周期。算力基礎(chǔ)設(shè)施產(chǎn)業(yè)鏈核心環(huán)節(jié)的算力芯片、服務(wù)器和IDC服務(wù)商可能會迎來新一輪發(fā)展。

ChatGPT是一把“雙刃劍”，要審慎應(yīng)用。以ChatGPT為代表的新型AI技術(shù)“雙刃劍”特征明顯，不僅自身存在數(shù)字安全威脅和隱患，隨著人工智能工程化、場景化、平臺化落地不斷加快，人工智能安全需求將超越單純技術(shù)范疇。根據(jù)相關(guān)報道，ChatGPT最初的爆火源于它在一位工程師誘導下，寫出了毀滅人類的計劃書，步驟詳細且給出相應(yīng)的Python代碼。此外，ChatGPT被濫用的問題也愈發(fā)明顯，比如使用ChatGPT做家庭作業(yè)、寫論文或完成測試。與此同時，由于ChatGPT訓練數(shù)據(jù)來源于公開互聯(lián)網(wǎng)，生成的內(nèi)容有可能構(gòu)成知識產(chǎn)權(quán)侵權(quán)的風險。

緊抓機遇，加快發(fā)展浙江人工智能產(chǎn)業(yè)

浙江是全國數(shù)字經(jīng)濟先行省份，人工智能發(fā)展水平處于全國前列，擁有人工智能核心技術(shù)研發(fā)、智能終端制造到行業(yè)智能化應(yīng)用的完整產(chǎn)業(yè)鏈。當前，應(yīng)以全省大力實施數(shù)字經(jīng)濟創(chuàng)新提質(zhì)“一號發(fā)展工程”為契機，加快ChatGPT等人工智能關(guān)鍵核心技術(shù)攻關(guān)，建設(shè)一批平臺載體，形成一批特色場景應(yīng)用，努力打造具有國際競爭力的人工智能產(chǎn)業(yè)集群。

堅持創(chuàng)新制勝，組織一批關(guān)鍵核心技術(shù)聯(lián)合攻關(guān)。立足浙江人工智能產(chǎn)業(yè)基礎(chǔ)，充分發(fā)揮比較優(yōu)勢，依托之江實驗室、浙江大學、阿里達摩院等名校大院，發(fā)揮集中力量辦大事的制度優(yōu)勢，著力突破若干關(guān)鍵核心技術(shù)。

堅持人才為本，構(gòu)建人工智能基礎(chǔ)理論與應(yīng)用技術(shù)相結(jié)合的學科體系。依托浙江大學、浙江工業(yè)大學、杭州電子科技大學等高校，進一步構(gòu)建人工智能基礎(chǔ)理論與應(yīng)用技術(shù)相結(jié)合的學科體系，通過基礎(chǔ)理論與應(yīng)用并重的學科體系建設(shè)，努力提升人工智能顛覆性創(chuàng)新的話語權(quán)。

ChatGPT是人工智能技術(shù)“量變”引發(fā)“質(zhì)變”的代表。

堅持需求牽引，重點布局一批企業(yè)級人工智能研究院。從全球來看，高校教授成為企業(yè)和高校間的特殊紐帶，如“深度學習之父”Hinton在多倫多大學擔任教授，同時受聘為谷歌大腦人工智能團隊首席科學家。建議充分發(fā)揮阿里巴巴、網(wǎng)易、海康威視等省內(nèi)龍頭企業(yè)領(lǐng)軍人才的作用，加強具有前瞻性的人工智能領(lǐng)域企業(yè)級研究院布局。

堅持融合推動，打造區(qū)域人工智能技術(shù)融合創(chuàng)新生態(tài)系統(tǒng)。建立以政府主導的區(qū)域技術(shù)融合創(chuàng)新系統(tǒng)，將“基礎(chǔ)研究—應(yīng)用研究—試驗開發(fā)”創(chuàng)新鏈升級為連通企業(yè)、高校、研究院所、政府等創(chuàng)新主體的共同體生態(tài)，有機整合各類要素、多元主體、異質(zhì)產(chǎn)業(yè)群等，形成區(qū)域技術(shù)創(chuàng)新生態(tài)系統(tǒng)。

堅持實體導向，推動人工智能技術(shù)賦能實體經(jīng)濟轉(zhuǎn)型升級。依托“萬畝千億”新產(chǎn)業(yè)平臺、未來產(chǎn)業(yè)發(fā)展先導區(qū)、特色小鎮(zhèn)等產(chǎn)業(yè)平臺，推動開展一批重點領(lǐng)域融合創(chuàng)新工程，搭建一批能用管用好用的人工智能應(yīng)用場景，培育一批標志性人工智能技術(shù)產(chǎn)品，提升重點領(lǐng)域人工智能產(chǎn)品智能化水平，力爭在全省乃至全國范圍內(nèi)形成標桿和規(guī)模效應(yīng)。

堅持守正創(chuàng)新，強化人工智能論理治理研究。由省社科聯(lián)牽頭組織省內(nèi)智庫平臺等相關(guān)力量，加強人工智能倫理治理研究力量，促進形成更多更加開放、有國內(nèi)外影響力的交流合作平臺組織，推動國內(nèi)倫理治理規(guī)則共識、浙江方案的形成。鼓勵省內(nèi)人工智能企業(yè)加大“走出去”力度，充分利用“一帶一路”倡議、G20等雙/多邊合作機制，主動融入全球人工智能治理體系，積極參與全球人工智能規(guī)則制定。