織夢視覺技術 感知多維世界

1999年，電影《黑客帝國》（The Matrix）上映。在這部電影中，制作組采用了360度旋轉的視角來全方位呈現男主角尼奧仰身躲子彈的場景。這一被命名為“子彈時間”的經典慢動作鏡頭，不僅給予了當時的觀眾“從平面到立體”的新鮮觀影感受，也激發了視覺、計算光場及多媒體通信等相關行業從業者和專家的持續思考。“被拍攝的人、事物或場景本質上都是三維的，然而當它被拍攝后，呈現出的卻是二維圖像。換言之，在拍攝的過程中，被拍攝主體發生了一次‘降維’的過程，這會導致我們在觀看這些視頻內容時無法全面完整地看到被拍攝主體的全貌，造成了視覺信息的缺失。‘子彈時間’的出現，無疑為補全圖像的信息缺失提供了一種新的方案。”提及這番由影視作品引發的技術升級，華中科技大學電子信息與通信學院副院長楊鈾如是介紹道，而他目前所從事的以視覺感知與計算為核心的計算光場、計算機視覺、立體視頻系統等方面的研究工作，也正與此密切相關。“我的工作就是實現更高維度的視覺信息獲取，給予平面視頻或圖像更全面的三維信息，使觀眾對目標場景有更深層次的理解，讓‘觀看’這件事不止停留于‘我看到’，更要‘看得清’‘看得懂’‘看得更好’，并將相關技術應用于越來越多的應用場景，這就是我們為之奮斗的目標。”

打破視限，“還原”立體世界

為了獲得光場f（x，y，z，θ，φ，λ，t）的信息，將空間（x，y，z）、角度（θ，φ）、光譜（λ）和時間（t）等多個因素引入其中，楊鈾及其團隊嘗試了很多辦法，并在研究過程中不斷探索著影響視覺信息呈現的要素。以視覺信息的獲取為開端，人的雙目視覺給予了他們靈感——“雖然單相機的視覺獲取只能得到平面圖像，但是仿照人眼的雙目視覺系統，只要能夠利用2個及以上的相機進行多視點同步采集，就能夠在得到的多視點圖像基礎上進行立體匹配，從而得到深度z的信息。”基于這一認識，楊鈾以多視點解決多維度視覺問題為切入點，針對離散的多視點數據的結構化、可計算、可優化、可傳輸這4個主要問題，開展了多學科聯合攻關，形成了多視點多模態視覺信息的采集、處理與傳輸關鍵技術。在內容的采集和預處理層面，他提出了相位信號時域差分校正、像素光流時域傳播、遞進式多視點視頻配準等方法，實現了三維空間任意位姿大規模相機陣列數據的多模態標定與結構化表示；發明了模型與數據聯合驅動的耦合計算方法，研制聯合計算系統，實現了多視點多模態數據的混合計算；并突破性地提出了時域上采樣法和時域校正法等多種方法，為運動場景的立體感知提供了豐富的工具集。而在編碼壓縮與傳輸優化，以及交互與呈現等方面，他發明了多視點視頻優化編碼方法、多視點視頻數據的篩選優化模型、時-角維差值技術等，降低了多視點多模態混合計算資源代價；并基于直接利用編碼參數（如運動矢量、塊模式等）來進行深度圖濾波的方法、跨視點多邊濾波的方法，以及新型局部雙邊濾波器等方法，著力提升視頻的繪制質量。

抗災救困，彰顯“天眼”實力

在自然災害、事故災難、公共衛生、社會安全等突發性公共安全事件中，往往會出現因電力、通信設施損毀導致通信中斷的情況，這不僅給受災區域內人民群眾生命財產安全帶來巨大威脅，也會為后續救援和指揮調度工作造成嚴重阻礙。在這樣的極端情況下，現有的應急通信系統僅能在小范圍內為持有專用設備的人員提供窄帶傳輸業務，無法滿足災區態勢感知、現代化救援對寬帶應急業務的重大需求。如何快速構建災害現場與后方之間的信息通路，并對災害現場態勢進行全方面、多角度感知，是當前突發公共事件應急處置、現代化應急救援所面臨的共性難題。而楊鈾團隊基于多視點視覺系統的研究成果，就在這樣斷電、斷網、斷路的“三斷”環境中，在災區態勢感知上找到了一處全新的“用武之地”。

以“天-空-地”全覆蓋的廣電專網體系為依托、公網為補充，楊鈾團隊整合“專-公”多網信道資源打造了多體制大容量融合通信信道，在揭示分布式多模態感知耦合機制與傳遞規律的基礎上，發明了多模態視頻時間-角度-尺度關聯技術，就此研究的關聯感知系統，在國際上首次實現了60個視點、3個模態的分布式關聯感知，視點數提升1個數量級，克服了廣、散、多的分布式感知抓立視點頑疾，并突破了相關領域的國際技術壁壘與歐美技術禁運；基于關聯機制下的多模態視頻預測與編碼方法，以及多模態協同的視頻篩選優化技術，編碼能耗大幅度降低，同步研發的災區小隊協同計算系統則實現了極端通信下的窄帶高清，被歐盟第七框架技術咨詢報告評價為“多視點視頻編碼領域最為重要的進展”；其所建立的多模態視頻模型－數據聯合驅動的協同機制，跨模態、跨視角協同的場景高質量重建技術，以及分布式多模態協同計算系統，突破了深度場角頻率感知全向同頻干擾的物理制約，重建質量打破了保持24年的國際紀錄；自主研發的應急融合通信傳輸系統與通信車，更是首次實現了通信空洞下災區的“廣電-公網-衛星”三網融合通信。楊鈾團隊形成了以災區態勢感知和災害救援為核心，涵蓋安防監控、廣播電視、通信裝備等十多個行業的100余型新產品與新服務，服務南水北調、雄安新區建設等重大工程，冬季奧運會、全國高考等重大活動，以及貴州、山東、吉林等省的應急演練與系統檢驗。目前，這一成果在中國國家應急廣播中的應用，已覆蓋72%的國土面積、服務全國62.8%的人口，真正落實了我國應急救援“以防為主，抗救結合”的戰略使命。

應急救災事關人民生命財產安全、社會安全、國家安全，可謂牽一發而動全身。而通過面向災害現場的多視點視頻采集、處理與傳輸方法及裝置將災區情況傳遞給后方指揮，可以有效提升后方指揮對于災區全貌及細節的把控程度，進而做出更為精準的調度指揮，這對我國應急救援及相關行業的技術和管理體系進步都有積極意義。不唯如此，楊鈾團隊此次在應急領域的開拓，也為相關技術應用于自動駕駛、車路協同、智慧家庭、服務機器人、遠程視頻會議、高端工業視覺監測、遠程醫療和專用醫療裝備等多個場景打開了局面。“經由這個項目，我看到了這項技術更廣闊的應用場景，也更深刻地意識到尚有無數的科研山峰正等待著我們。”而曾經有良師為引、不斷成長的楊鈾，現在也已成為新的引路人，帶領更多的年輕人不輟攀登。

行穩致遠，建設創新高地

1990年，就讀于廣東培英中學的楊鈾，在初一時就早早地接觸了計算機相關課程。這段經歷讓他在高考時義無反顧地報考了計算機專業，而隨后面向圖網絡和立體視頻等細分方面的研學之路，也為他日后涉足交叉領域打下了堅實的基礎。據了解，在楊鈾攻讀博士期間，彼時數字電視在國內尚未完全普及，“大家用的還都是那種‘大塊頭’的顯像管電視”；而他已經在導師蔣剛毅老師的指導下，開始接觸立體視頻的處理編碼工作。“我日后從事的視覺感知與計算工作即以此為始，蔣老師高瞻遠矚的科研視野、全面了解行業發展前沿的鉆研精神和嚴謹認真的工作態度也深深地影響了我。”而在開展博士后研究時，合作導師戴瓊海放眼未來的戰略大局觀、博采眾長的交叉學科的思維模式、敏銳的學術觸覺和提綱挈領的總領能力，以及始終保持思考的習慣，都讓年輕的楊鈾受益匪淺，并沉淀為他日后走上工作崗位、帶領團隊的不竭養料。

作為領域內較早開展計算光場研究與應用的科研人員之一，創新是楊鈾科研生涯中最亮眼的底色；如今擔任華中科技大學電子信息與通信學院副院長，他仍堅持以實際需求為導向，積極推進技術創新和系列成果落地，全面奠定團隊的行業影響力和學科影響力。在培養行業后來人時，他首先強調了思想導向的重要性。“要目光長遠，要思考所學所研能幫助國家解決怎樣的問題”，是他教導學生時常說的話。與此同時，他始終堅持產教融合、科教融匯的人才培養方法，“我們所在的電子信息行業，是非常接地氣的行業。想要解決實際的問題，就不能純粹以發論文為導向，而是要到產業的第一線去，將產業、科研與教學有機融合起來”。為此，他積極開拓課堂和產業一線的“對接”通道，通過學生深入企業一線、產業專家到校講課等有效交流形式，楊鈾團隊成員及學生得以真切了解到行業發展的現狀和前景，為科研工作提供更加“有的放矢”的發力靶點。此外，楊鈾也沿襲了恩師的習慣，從寫作邏輯、寫作方法、結構布局乃至標點細節入手，親自執教學生的寫作課程。“如果科研成果不能夠被很好地傳達出去、不能夠被普羅大眾所接受，這樣的科研是沒有任何用處的。”他強調道，“寫作的過程，也是對成果進行梳理的過程。通過提升寫作技巧，他們的成果將得以更好地推廣傳播，這也將提振他們的科研信心，并以更加清晰的思路進入后續的工作中。”

“立大志、入主流、上大舞臺、成大事業”，楊鈾以此為自己團隊的精神內核作注，也以此描繪了他與團隊的未來圖景。“未來，我們將繼續堅持‘四個面向’，腳踏實地、補全完善相關技術在應急救災領域短板的同時；更要持續探索學科前沿、進一步拓寬相關技術的應用場景。”以科研凝結核心競爭力、以應用增進人民福祉，楊鈾及其團隊將繼續前行、不畏寒暑。