數字時代的追光人
——訪2023級星友張迎梁博士

邀約張迎梁進行采訪，有他作為星友代表在2023年啟明星頒證會上發言這一因素。但于我而言還想滿足兩個訴求：一是啟明星協會顧慶生秘書長一直希望能夠多提供一些星友中的創新創業榜樣；二是近年來時常聽到數字人、數字孿生等名詞概念，我雖對這些概念有自己的解讀，但感覺還是遠不足夠的。那天在星友頒證會上張迎梁的發言讓我意識到他就是我要找的人：“作為一名人工智能領域的科研人員，我一直用‘追光之旅’來形容自己的科研生涯。在上?？萍即髮W讀研究生時，我首次接觸到了光場的概念。大多數人聽到光場的時候，第一反應都是好奇這是什么，能干什么？其實我一開始也有同樣的疑問，直到熬夜寫完第一個光場渲染器時，看著屏幕上渲染的畫面能夠動態變焦時，我才意識到，‘噢，這就是光場渲染啊’?！?/p>

“驚出幾身汗” 的調試過程至今難忘

大一時迎梁才開始接受編程方面的訓練，他當時對編程非常感興趣。大二時報名參加了學校和寧波市的編程大賽，他很享受寫代碼，并通過代碼解決問題的過程。對代碼和編程語言的日益熟悉讓他逐漸找到自己感興趣的研究方向，也讓他逐漸意識到自己的知識儲備、研究深度等遠不足夠，因此迎梁決定繼續攻讀碩士學位，希望能夠更深入地探索計算機領域。在備戰考研期間，迎梁被剛建校的上?？萍即髮W的辦學模式、實力和愿景所吸引，最后十分幸運地成為上?？萍即髮W信息學院的第二屆研究生。

當時上科大張江校區還在建設中，第一年的教學、科研實驗是在岳陽路319號中國科學院上海分院的8號樓進行的。研二時，上科大的研究生學習暫轉到張江?？坡返闹袊茖W院上海高等研究院。那段時間研究生們會在岳陽路、?？坡穬蛇吪堋Ｓ幸淮螢橄蛐韧鈱＜液皖I導演示他們實驗室在光場數據采集方面的科研工作，需要快速搭建一套演示裝置，并完成一些硬件搭建和軟件算法調試的工作。此次要調試的設備是由8個相機模組組成的相機陣列。他們臨時接到通知，演示提前到了第二天上午，距離領導來訪只剩下十幾個小時，張迎梁和一位博士生一起承擔起相機陣列采集重建的演示調試工作。迎梁從當晚一直到第二天早晨通宵達旦不斷調試，但直到臨近領導要來觀看的時間點還是沒有調試出結果，迎梁說自己在整個過程中已是驚出幾身汗，所有人已準備放棄。好在功夫不負有心人，在最后的10分鐘，裸眼三維顯示屏上終于出現了立體的光場渲染效果，最終得以如時、如愿完成演示。

這個過程雖然很痛苦，但對迎梁的啟發也很大。“只有自己喜歡一件事，才會有動力去為這件事情付出全身心的投入和努力?！彼χf道。張迎梁從容地面對科研路上的種種挑戰，不畏艱難，始終朝著心中那個方向前進，因為他相信，星光不問趕路人，時光不負實干人。

回溯“驚出幾身汗”的那次調試情景，迎梁至今記憶猶新，印象深刻?！艾F在我更清楚，當時我們所演示的就是通過多相機光場陣列，利用光的攝入完成物體的光場信息采集，以達到獲取被采物體的更精細、更準確的幾何和材質信息來做物體的實時3D渲染。”那次令迎梁終生難忘的演示也讓第一次看到這樣渲染效果的領導和專家被驚艷到。迎梁也是從那時起接觸到光場技術，并以此作為他之后的科研方向。后來他又在此基礎上繼續研究光場的重建和渲染，并發表了相關學術論文。而他的博士課題正是基于光場數據的三維重建。

動態光場影棚

研究生時加盟疊境， 5 年后成為首席技術官

這次對張迎梁的采訪是在距上科大咫尺之遙的疊境數字公司內完成的。采訪后半段的話題轉向疊境數字和被訪人如何走向創業之路。如今已是疊境數字首席技術官的張迎梁這樣講述道：“過去20年里，《黑客帝國》《頭號玩家》等科幻電影中的構想成了元宇宙的最初藍本——人們通過腦機接口或者虛擬現實（VR）頭盔連入逼真的虛擬世界，在那里社交、生活、工作，分不清虛幻和現實——而‘疊境’這個看起來略帶詩意的詞匯，其實意味著一個把虛擬和現實重疊起來的環境，即一個把一切實物數字化的環境，完美詮釋了平行世界與數字未來的高度互通。”

除此之外，張迎梁對“疊境”的理解也在不斷深化：“疊境從中文語義來講是重疊的環境，既有現實又有虛擬環境重疊交織的涵義。疊境數字這些年一直在做數字化的物體、人物、場景。英文名DGene還有一層涵義是未來虛擬世界的人或許具有數字基因。這個名稱里還有數字化的時代、數字化生成的涵義?！甭犕辍隘B境”名字由來的故事，我仿佛探索了一個充滿挑戰和驚喜的數字世界，思考了虛實世界的本質和意義。作為上?？萍即髮W孵化的第一家人工智能企業，疊境數字自2016年成立以來，堅持基礎研發，圍繞光場技術、三維重建、智能視覺等核心技術，先后研發了動態光場影棚、穹頂光場、自由視點等多視角采集系統。2020起，公司依托與上科大的科研合作，嘗試通過人工智能技術，降低元宇宙內容的制作成本，探索產學研一體化的創新路徑。

“伊可” 讓數字人技術走近大眾

公司目前的主要業務就是數字人和數字孿生，疊境數字也是國內最早一批從事這方面技術研發的專業機構之一。虛實融合數字孿生底座系統通過疊境數字長期在光場技術和三維智能視覺領域的技術積累，以精準的三維模型、GIS信息系統為依托，連通孤立的二維視頻數據，將動態視頻與靜態場景相融合，使碎片化的場景在數字孿生底座中全方位展現，構建可以實時響應動態數據的數字孿生三維系統，提升三維時空的全景可視可達與智能感知研判能力，實現高效指揮、管理和運營的目標。主要面向城市治理、工業智能、園區管理、應急指揮等數字化應用場景的需求。

數字人包括從品牌代言、功能型播報數字人（如電視臺主播）到與大語言模型相結合的智能數字人。在2023年7月7日第一財經成立20周年的大會上，第一財經攜手疊境數字聯合打造的數字人主播“伊可”正式上崗，在每個交易日中午11點檔的《市場零距離》節目中直播公司和市場資訊，晚間21點在網端的“正在”頻道中直播美股盤前資訊。端莊的舉止、自然的語速、穩定的狀態，作為業界首個多維形象人工智能型數字主播，伊可現在已經參與第一財經四檔節目的播報。“我們利用光場采集技術，準確捕捉人物臉部和姿態特征，并將其制作成模型再進行皮膚、動畫加工，隨后通過自主研發的語音驅動數字人的人工智能技術，只要把文本輸入到系統內，數字人就可以播報，后面不需要“中之人”來驅動，伊可的口型、臉部表情、眼神等都由人工智能來控制。”迎梁星友說起的數字人主播伊可，我也曾從媒體上看過相關報道，但這兩年沒有關注，可一問周邊的年輕人都說知道伊可。業內也曾有過關于數字人主播的問世對主播這一職業帶來的挑戰的議論。

“伊可”數字主播采用了全流程智能化的技術方案，數字人形象經過精心設計，依照第一財經主播天團的外形和聲音數據，由人工智能與藝術的創意結合而成，既符合媒體主播的職業標準，又符合大眾審美。在我看來伊可的問世至少幫助大家開始了解數字人技術，加快了這一技術的普及推廣，這無論如何都是件好事。

構建手語大模型， 幫助聾啞人理解外部世界

說起近一兩年更有意思的研發課題，迎梁的興奮點被點燃：我們現在正在做的更有意義的是手語大模型，這是今年與上科大、上海廣播電視臺（SMG）一起做的“潤愛無聲”項目，利用交互智能建立手語大模型，其初衷和目標就是幫助聾啞人看病、辦理各種業務，更重要的是讓他們更方便融入社會。聾啞人沒有聽覺，也沒法說話，他們獲得信息的途徑主要來自視覺，表達自我的方式是手語。為了達到目標，科研人員采集動態的三維人體動作數據、口型數據和文本數據，將多模態數據進行清洗、訓練，實現基礎的手語模型；在此基礎上，優化醫院、社區服務中心等特殊領域應用場景，使聾啞人在機器助理的協同下，可以跟普通人一樣順利地看病和辦理各種業務；最終通過模型和聾啞人大量的交互，形成自我學習的能力，成為聾啞人了解世界、學習知識過程中不可或缺的伙伴。

伊可播報第一財經《市場零距離》節目內容

為了使以上美好的情景在現實生活中得以實現，張迎梁和團隊首先從一個小的應用切入，經多方走訪調研后，他們選了如何服務于聾啞人看牙醫這樣一個非常具體的場景，課題組的設想是服務對象一進入牙防所就有一套針對性的手語服務程序幫助服務對象一一完成診療過程。為此，課題組正在與手語老師一起采集手語數據。張迎梁說他充分意識到手語大模型建成不易，但這件事一旦做成其社會意義不言而喻。

手語大模型的另一個應用場景是社區服務，譬如證件遺失補辦這種事對聾啞人來說并不容易。但以后聾啞人就可以通過手語直接和一臺機器對話來完成身份證補辦等一些社區服務項目了。稱之為手語大模型，是因為需要采集的手語的量其實很大。迎梁舉例說，手語有很多細節，有通用手語，也有地方性手語，就如同口語表達，既有普通話，也有各地的方言是一個道理。表述同樣一件事，不同地區的手語方式有差異，因此手語的采集量很大。此外，已有的手語模型比較偏重于二維，而疊境數字正在做的是三維的手語數字人?，F在還沒有專門的手語大模型，目前的手語數字技術還不夠實用，至少對聾啞人還不實用?！半m然研發過程中會有很多困難和挑戰，但我們認定這就是疊境數字強調要做的有溫度的人工智能，發掘技術對人類社會有益的潛能，讓弱勢群體得到更多的關注與幫助，這也是企業應有的社會責任，我們愿意也樂意迎接挑戰?！?/p>

啟明星項目提供體育元宇宙直播觀賽新方案

最后聊到的啟明星項目似乎也撞上了迎梁的興奮點，他申報的啟明星項目是“構建面向未來的沉浸式、可互動式體育元宇宙直播觀賽新方案”，想通過研制多視角視頻編碼、低延時傳輸、三維視頻融合等新技術，提出新算法的方式打破現有VR體育直播、自由視角直播以及體積視頻技術手段的限制，希望實現面向移動終端App、VR、增強現實（AR）等沉浸式播放媒介的體育元宇宙賽事直播新體驗。新方案也是希望提供球員視角觀賽、現場任意位置的虛擬視角直播，提供給觀眾自由活動、自由觀看的元宇宙沉浸式全新觀賽體驗。

在2022年北京冬奧會上，疊境數字作為國內領先的自由視點技術公司，為大賽提供了可快速制作“時間凝結”等特效的自由視點直播系統，并專為冰壺比賽設計了相應的自由視點采集系統，部署了48套4K超高清多視角相機系統在賽場周圍，成為國際上第一家將自由視點直播技術應用在冰壺賽場的團隊，也為大家帶來了可以近距離觀看運動員們擲壺精彩瞬間的新體驗。除了體育賽事，在一些大型的綜藝節目，如2021年東方衛視《偉大舞者》中的部分鏡頭所應用的拍攝技術也是疊境數字“自由視點”的一個具體應用。

入選2020 福布斯中國30 歲以下菁英榜單

盡管重心已經轉向企業運營，但多年來的科學訓練和疊境數字不斷追求科技創新的屬性，使得作為公司首席技術官（CTO）的張迎梁在學術上始終有追求，入行以來圍繞三維人物、物體、環境等內容的高精度重建和渲染，已在計算機視覺圖形學領域的國際頂級學術會議和期刊發表多篇論文。入職以來，他負責了疊境數字動態光場影棚、自由視點、數字孿生城市、超寫實數字人等產品的研發工作，研發成果先后在世界互聯網大會、中國國際進口博覽會、世界移動通信大會、世界人工智能大會等展覽會上展出。也因為以上業績，張迎梁于2020年入選福布斯中國30歲以下菁英（30 Under 30）榜單，于2021年入選胡潤30歲以下中國創業領袖榜單。可以看出，迎梁是一位迎風而立、日后有可能成為行業棟梁的創業先鋒。

最后，和迎梁一起暢想未來，他認為虛擬與現實世界的邊界在逐漸縮小，也許會出現一個開放而可協作的虛實世界，將成為我們日常生活中信息交互的一種主要形式。這會給人類社會帶來怎樣的發展方向？又會往何處去？值得我們一起去思考和探索。