賦予計算機“一雙慧眼”
——記哈爾濱工業大學計算機學院教授左旺孟

李明麗

左旺孟

對于每位哈爾濱工業大學的學子而言，“規矩嚴格，功夫到家”都是銘刻于心且奉為圭臬的八字方針，左旺孟也不例外。2017年，憑借一篇發表于《IEEE圖像處理匯刊》（IEEE Transactions on Image Processing）的有關圖像去噪卷積神經網絡（DnCNN）的學術論文，左旺孟斬獲了此期刊近10年來引用數最高論文的好成績，且其方法在之后不僅以denoisingNetwork(.)為函數名被正式收錄于MATLAB 2017b（美國MathWorks公司出品的商業數學軟件）及后續版本的圖像處理工具箱（Image Processing Toolbox）和深度學習工具箱（Deep Learning Toolbox）之中，還被編入華盛頓大學碩士計算機視覺課程CSE 576中，甚至被美國工程院院士理查德·塞利斯基（Richard Szeliski）教授寫入其編著的計算機視覺經典教材《計算機視覺：算法和應用（第2版）》（Computer Vision: Algorithms and Applications<2nd Edition>）中。

左旺孟，哈爾濱工業大學計算機學院教授、博士生導師，主要從事圖像增強與復原、圖像編輯與生成、物體檢測與目標跟蹤、圖像與視頻分類等方面的研究。多年來，他先后主持承擔區域創新發展聯合基金重點項目1項，華為終端、華為監控、華為媒體院、阿里巴巴等公司橫向課題十余項，并且以課題負責人獲批國家科技創新2030—新一代人工智能重大項目1項。曾于2019年以排名第二的成績斬獲陜西省科技進步獎一等獎；2020年更是以第一的成績獲黑龍江省自然科學獎一等獎。

在生理學上，視覺的產生始于視覺器官感受細胞的興奮，完成于視覺神經系統對信息的加工。著名心理學家赤瑞特拉（Treicher）的實驗顯示：在日常生活中，除盲人這類特殊群體外，大多數人都是依靠視覺來直觀地了解事物的形體和狀態，以及完成衣食住行等基本生存活動。視覺在獲取外界信息的過程中發揮作用占比可達83%，其余11%來自聽覺，6%來自嗅覺、觸覺及味覺。不僅人類如此，自然界中多數動物亦然，這足以說明視覺對生物的重要程度。然而計算機作為20世紀最重要的發明之一，在其誕生之初，是不具備“看懂”圖像的能力的，一張圖片即便再色彩繽紛，在“毫無感情”的計算機面前也只是一串數據、一個文檔而已。

因此，在長達半個多世紀的漫漫歲月中，數代學者為賦予計算機一雙處理圖像的“慧眼”而前赴后繼地進取拼搏，也由此產生了“計算機視覺”這一學科。經過十余年的研究，哈爾濱工業大學計算機學院教授左旺孟逐漸形成了自己的認識：“我們研究的最終目標是使計算機能像人那樣通過視覺觀察理解世界，具有自主適應環境的能力。或許有人會說，攝像頭拍攝已經基本做到了‘所見即所得’，但‘看見’、‘看清’與‘看懂’，是彼此獨立的3件事，要實現每個環節的進階，都需要很多人付出極大努力才行。”

規矩嚴格，功夫到家以求變

截至目前，左旺孟已在國際計算機視覺與模式識別會議（CVPR）、國際計算機視覺大會（ICCV）及歐洲計算機視覺會議（ECCV）等頂級會議和《IEEE模式分析與機器智能匯刊》（IEEE Transactions on Pattern Analysis and Machine Intelligence）等學術期刊上發表論文100余篇。然而，他與科研卻并非結緣于計算機，在走進母校——哈爾濱工業大學之初，他是材料科學專業的一名追夢人。“高中時期，我的物理和化學成績還比較不錯，在許多人的建議之下，再結合我自己對專業應用前景的考慮，最終選擇了建立在物理和化學學科基礎之上的材料科學。”

但令人意外的是，6年的材料學本科和碩士學習生涯雖然為左旺孟打下了堅實的理論基礎，磨煉了基本的科研素養，但并未使他獲得科研自信，“我總覺得我的實驗技能與動手能力有欠缺，或許我并不適合這個專業”。于是，在得知身邊幾位好友都下定決心轉入計算機專業后，左旺孟瞬間獲得了激勵，轉換人生的賽道，開始為攻讀計算機專業的博士學位而做準備。雖然與同專業升學的同期生相比，他的基礎相對薄弱，但他還是憑借夜以繼日的苦讀與努力，順利升入了哈爾濱工業大學計算機應用技術專業繼續開展研究。

在計算機領域之中，左旺孟不僅找回了科研的信心，還相繼邂逅了對他而言極為重要的幾位“引路之人”。“我的博士生導師張大鵬教授、北京大學林宙辰教授和香港理工大學的張磊教授等人對我的成長都起到了非常重要的作用。張大鵬教授算是我在這一方向上的啟蒙導師，是他帶我從一無所知到逐漸能在模式識別領域獲得一些微小的成績。科研的過程中，難免有心性不穩、懈怠之時，每當這時，林宙辰老師嚴謹自律的科研態度和在矩陣計算和優化算法方面的積極指導總是激勵著我重新振作。而自2012年我決定開始做底層視覺研究之后，張磊老師就一直為我提供著指導與鼓勵，直至今日，他仍在全力支持著我。這3位業內前輩的指導與幫助是激勵我迅速成長的助推劑，可以說，沒有他們的幫助，我也許無法堅守到今日。”

對于每位哈爾濱工業大學的學子而言，“規矩嚴格，功夫到家”都是銘刻于心且奉為圭臬的八字方針，左旺孟也不例外。得益于導師們的幫助與積年堅守，他開始在計算機視覺的底層視覺與圖像增強等方面逐步深耕并嶄露鋒芒。2017年，憑借一篇發表于《IEEE圖像處理匯刊》（IEEE Transactions on Image Processing）的有關圖像去噪卷積神經網絡（DnCNN）的學術論文，左旺孟斬獲了此期刊近10年來引用數最高論文的好成績，且其方法在之后不僅以denoisingNetwork(.)為函數名被正式收錄于MATLAB 2017b（美國MathWorks公司出品的商業數學軟件）及后續版本的圖像處理工具箱（Image Processing Toolbox）和深度學習工具箱（Deep Learning Toolbox）之中，還被編入華盛頓大學碩士計算機視覺課程CSE 576中，甚至被美國工程院院士理查德·塞利斯基（Richard Szeliski）教授寫入其編著的計算機視覺經典教材《計算機視覺：算法和應用（第2版）》（Computer Vision: Algorithms and Applications <2nd Edition>）中。然而，左旺孟卻感受到了更大的壓力和動力：“我國的計算機視覺技術仍處于國際并跑位置，希望有朝一日，我能與眾多同仁一起，精準識變、主動求變，使我國在此領域真正實現領跑式的突破與超越。”

博學深謀，修身端行以待時

出于對母校的眷戀，左旺孟在博士畢業之后便直接留校任教，完成了走出象牙塔，隨即走上三尺講臺的“華麗轉身”。據他介紹，他的早期研究主要聚焦于傳統方法中的圖像去噪與圖像去模糊問題，通常會傾向于結合傳統模型改善網絡的靈活性，比如用一個網絡處理多個任務，但很快他就發現了其中瓶頸：傳統的底層視覺方法從數學理論上看很完美，但實際應用中卻不可能用一個模型刻畫出圖像的所有規律，反而基于數據驅動的深度學習方法可以對圖像的特性或者規律刻畫得更充分一些，他說：“剛開始不少學者覺得底層視覺可能不適合用深度學習來處理，但我們覺得像高斯去噪等問題實際上是仿真問題，很容易獲得無窮多的訓練數據，反而更適合數據驅動的深度學習方式。”

這一聚焦前沿、獨辟蹊徑的推論最終得到了驗證。2020年，左旺孟與合肥工業大學、中山大學等團隊的研究人員一起，協同開展名為“多域視覺學習”的研究課題，旨在利用多域視覺信息的關聯/互補特性及不同域間學習和標注的不一致性，實現多域視覺信息的協同增強和不同域數據的跨域轉換，從源域到目標域的領域自適應與跨域跨任務遷移，形成一套多域視覺學習理論與方法體系。此項研究主要針對引導人臉增強、智能圖像填充、人臉屬性編輯和人像姿態生成、多攝融合等應用領域，開展關鍵技術研究并建立原型系統，具有重要的研究意義和實用價值。

目前，這一項目仍在如火如荼地進行著，但在過去兩年內，此前擬解決的科學問題與目標在某種程度上已具雛形。據悉，左旺孟團隊的主要研究對象——視覺信息的域間關聯/互補特性建模是關乎項目成敗的核心問題，因其不僅是多域視覺信息協同的基礎，更是跨域轉換生成中內容和結構一致性的重要保證。為達成自主創新的學術目標，即避免囿于當前常用的串聯和自適應歸一化機制的思路，左旺孟獨辟蹊徑，決定從不同域間關聯的空域自適應性出發，通過發展局部自適應空間變換網絡實現空域關聯性建模，進而提出多級漸進式的高階域間關聯模型方法，相關成果相繼發表于2020年度國際計算機視覺與模式識別會議（CVPR）和2022年度歐洲計算機視覺會議（ECCV）。

在多域聯合建模方面，由于多域視覺轉換生成和多源域領域自適應涉及兩個以上的域，且難以通過對雙域模型的簡單拓展來解決，因此左旺孟團隊便提出了綜合建模域間關聯和域間差異的共享編碼驅動多域聯合學習和自適應融合決策。如今，相關研究已取得初步成果。左旺孟及其團隊實現跨域視覺轉換生成與域遷移學習面臨的下一道“關卡”則是隱變量分布的可解釋性解耦問題。問題的挑戰性反而激起了團隊的研究興趣，經過一段時間的探索，他們完成了正交雅克比正則的分布可解釋性建模，并將其發表于國際計算機視覺大會（ICCV）2021之上。

隨著信息化社會的快速發展和智能終端設備的普及，全球范圍內的數據呈現爆炸式增長，大數據時代已經來臨——數據呈現顯著的多模態特性，幾乎所有的互聯網新聞報道都包含圖像、文字描述以及視頻等多種模態；此外，由于成像設備的多樣性和拍攝視角的多樣性，圖像和視頻數據均呈現出顯著的多視角特性。在這樣的時代背景下，相關研究已經引起了廣泛的關注與極高的討論熱度，這對于以左旺孟為代表的相關學者而言，是挑戰，但同時也是巨大的機遇。“未來，我們還將從多模態學習的角度，著力于視覺場景解析工作的推進，結合圖像分類、目標檢測、語義分割等典型計算機視覺任務，探索更為便捷和高效的解決方案。”左旺孟說。

木鐸之心，滋蘭樹蕙以致遠

為學者，左旺孟始終秉持“敦兮其若樸”的純粹初心；為師者，他也做到了“曠兮其若谷”的通達態度。某社交媒體上，一篇題為“如何評價哈爾濱工業大學的左旺孟老師”的帖子底下，匯集了成百上千名學生的留言，在這之中，“有責任心”“誠懇務實”“傾力幫助學生”“在自己領域內頗有建樹”等關鍵詞反復出現，這淋漓盡致地展示了何謂“金杯銀杯不如學生們的口碑”。

面對學生的贊揚，左旺孟并無驕傲自滿，卻在深刻思考后提出了對年輕人的殷殷期許：“由于起步比較晚，相對于國內其他優秀團隊和實驗室，我們在平臺搭建及研究方面做得仍然不夠。因此，我希望學生們除了著眼于提升自身編寫代碼的能力和數學基礎外，也要懂得‘修心’，在科研中沉得住氣一些，全身心投入，從現實出發去發現一些真實的問題。”

身處競爭日益激烈的社會洪流之中，左旺孟始終把握著自己的“節奏”。在論文能夠發表的基礎上，他會傾向于鼓勵學生多做些堅實、有穿透力的工作，盡可能去寫一些對讀者有用而非迎合審稿人口味的文章，“近年來，‘內卷’一詞廣獲關注，作為一個大學老師，我非常理解年輕人的壓力與焦慮。我個人也許不能改變什么，只希望能盡量為學生多提供機會，竭力將每位學子都塑造成一個能夠解決問題和創造機會的人”。談及個人對未來的規劃，左旺孟覺得：“為人師表者，對自己的要求更不能松懈：要有一定的基本能力與終身學習的覺悟，保持洞察力和開放性，也許成果總會在某個時刻以‘妙手偶得之’的方式出現。”