讓機器人“聽懂”與“看懂”世界
——記北京大學深圳研究生院信息工程學院教授鄒月嫻

王 輝

鄒月嫻工作照

清晨7點半，相較于喧囂繁忙的深圳鬧市，坐落在深圳南山區大沙河旁的南燕校園靜謐而美麗，珍惜時間而躲避早高峰的教授們已經開始了一天的工作，鄒月嫻就是他們中間的一位。打開電腦快速瀏覽半小時的科技新聞是鄒月嫻早年留學養成的習慣和每日必做的功課。她認為了解世界科技發展和技術應用現狀，對于科研人員是非常必要且重要的工作，并且能夠從中獲取新科技信息以觸發大腦風暴，產生新的思考。

自2006年以來，人工智能（AI）進入第三次快速發展歷史階段，基于大數據的深度學習方法獲得了技術突破和產業應用。此間，我國抓住歷史機遇，加大了科技投入，在AI技術和應用領域取得了全球矚目的成果。鄒月嫻巾幗不讓須眉，一直在深度思考和積極實踐如何開展AI關鍵核心技術的研發和AI人才培養。她帶領的研究團隊致力于面向服務機器人視聽覺感知和認知相關前沿技術研究，獲得了一系列優秀的科研成果并獲得成果轉化，成為我國人工智能領域科技發展的弄潮兒。

巾幗不讓須眉

鄒月嫻出生于四川成都，是家里的長女。有著悠久歷史和燦爛文化的古都人文和教師家庭氛圍培育了她樂觀豁達、熱愛生活、熱愛中國傳統文化和知書達理的個性。生活物資的匱乏培養了她勤儉節約的生活態度，長女的責任和學習壓力鍛煉了她提升工作效率和敏銳處事的能力。在嚴父慈母的培養下，鄒月嫻全面發展，自小就是班級的三好學生，養成了良好的學習習慣和心智堅毅的個性。

生活軌跡的轉折是不經意的，11歲那年，尚且年幼的鄒月嫻隨父母前往我國著名的火箭發射基地西昌支邊。在西昌，她真真切切地感受到科技帶來的震撼和向往。站在蒼茫的野外，她翹首凝視火箭升空、加速、伴隨著火焰沖向蒼穹，感受腳底大地由于火箭騰空帶來的劇烈震動，不知不覺中，“高科技”這個詞在鄒月嫻心中生根發芽。

人生有幸，鄒月嫻順利考入了重點大學成都電訊工程學院（即現電子科技大學）電子工程系，開啟了追求科技之路。在她研究生學習期間，正逢人工智能第二次浪潮，鄒月嫻也有幸參加了由其碩士生導師主持的“七五”計劃科技預研項目“用神經網絡方法實現對抗信號分類識別”，正式進入了人工智能研究領域。隨后她遠赴香港大學攻讀博士學位，后又前往新加坡理工學院從事人工智能領域的科研教學工作。一直以來，新加坡是亞洲經濟最發達的國家之一，在多個信息技術領域獨步發展。在先進的工作環境中，鄒月嫻開始用敏銳的目光審視追蹤世界人工智能的發展趨勢。

受益于互聯網技術的發展，在全球金融風暴動蕩時期，21世紀的中國強勢崛起。鄒月嫻敏銳地意識到祖國在科技教育和人工智能領域對高端人才的強烈需要。于是她當機立斷，放棄了新加坡穩定的工作和舒適的生活環境，全身心回國參與祖國建設。“做決定的時候我突然理解了1949年大批華人科學家從美國、歐洲回國投身建設的心情，產生了義無反顧的堅定信念，回祖國參與建設！”如今再次談及當年的決定，鄒月嫻的眼圈依舊有些泛紅。

2005年12月，鄒月嫻正式加入了北京大學深圳研究生院（PKUSZ），她說是北京大學兼容并包與追求卓越的文化氣質，以及深圳特區蓬勃向上、改革創新的精神深深吸引了她。當時的PKUSZ剛剛起步，異地辦學困難重重，如何服務國家戰略需求與滿足深圳特區經濟快速發展需求、保證學生培養質量都是擺在北大人面前的新課題。在北京大學和深圳市領導的支持下，PKUSZ提出了“前沿領域、交叉學科、應用學術、國際標準”的辦學方針，對此鄒月嫻非常認可和支持。她投入了極大的熱情參與PKUSZ學科建設和發展。隨著信息技術的快速發展，2010年，鄒月嫻參與了北京大學在深圳研究生院開設“計算機應用技術”專業理學碩士和博士研究生培養方案的建設。在調研相關課程設置與國際前沿研究的過程中，鄒月嫻再次敏銳地認識到“機器學習與模式識別”與人工智能的發展緊密相隨，她果斷地帶領團隊開展了基于深度學習的機器視覺和機器聽覺新理論與新方法研究，為促進我國AI技術的發展做出貢獻。

十年深耕，鄒月嫻的研究團隊形成了穩定的研究方向，一系列研究成果受到華為、騰訊、中興通訊、大疆科技、小米等高新技術企業的關注，部分成果轉化，部分研究成果處于世界領先地位。

讓機器人“聽懂世界”

在業界人看來，鄒月嫻是一個研究目標非常明確的學術帶頭人。為了掌握人工智能發展的前沿動態，她十年如一日，始終緊跟國際最新先進理論與技術，不斷思考技術創新與突破。

毫無疑問，讓機器人“聽懂”世界，迄今依然是一個尚未解決的世界性科技難題。第一步，鄒月嫻主持并開展了國家自然科學基金項目“基于聲學矢量傳感器陣列和稀疏表示的語音聲源方位角估計方法研究”。“十年前，自然場景下的機器聽覺大都基于麥克風陣列，其體積大，成本高，算法復雜，不適合服務機器人、家庭自動控制系統等的應用需求，我們團隊首次設計了超小尺寸的麥克風陣列——聲學矢量傳感器，提出了基于稀疏表示、機器學習理論的多個DOA算法。目前這個技術已經實現了成果轉化。”當談及機器聽覺技術領域的工作時，鄒月嫻的興致明顯高了很多。

完成了第一步的工作，鄒月嫻團隊繼續前進，開始研究人工智能領域中的另一個技術難點，讓機器在嘈雜環境中“聽清”聲音，即語音增強和語音分離技術。基于對空間濾波理論和深度學習理論的深刻認識，鄒月嫻團隊創新開展基于注意力機制的空域特征學習和多通道語音分離深度模型研究，并在此基礎上進一步開展了基于多模態場景內容聯合表征學習的目標語音分離模型研究，形成了一系列有影響力的研究成果，如發表了一篇語音領域旗艦期刊（JCR Q1）封面論文，獲得了國際同行的一致好評和引用。

有研究表明，在未來3～5年，遠場環境下的聲紋識別、關鍵詞識別、情感識別和語音識別將是全球機器人產業落地的關鍵技術。為此，鄒月嫻組織團隊緊跟主流技術，提出了關鍵詞識別輕量級深度模型，短語音語者確認輕量級深度模型，基于度量學習的語者身份確認深度模型，基于音視頻雙模態的情感識別深度模型等，上述研究在主流數據庫上均取得了最佳性能，其中語者確認模型已經獲得公司應用。

當然，鄒月嫻團隊在國際上達到先進水平的研究成果遠不止這些。為了讓機器人能夠準確判斷出自己所處的聲學環境、所發生的音頻事件和時間，她還帶領團隊重點攻關音頻場景分類、音頻事件和音頻事件標注技術，推動智能機器人聽覺技術發展。團隊開展了一系列研究工作，其中基于并行時間譜注意力機制的環境聲分類模型在ESC-10數據庫上獲得了90%準確識別率。“我們在Audioset數據集上達到97.0%的音頻事件檢測準確率，達到了當前國際最佳性能。”鄒月嫻頗為欣慰地說道。

讓機器人“看懂世界”

在新加坡的研究經歷及長久以來對國際科研動態和AI產業落地的密切關注，使得鄒月嫻對AI的發展有著自己獨特的見解。她在很早就意識到多模態對機器智能的重要價值，在北大深圳研究生院的研究團隊中一直有機器視覺和機器聽覺兩個團隊并行開展研究，相互借鑒方法。與機器聽覺技術相對應，讓機器人“看清楚”“看到”“看懂”，成為了鄒月嫻團隊的另外一個研究重點。

在鄒月嫻看來，獲取清晰的視覺數據是讓機器人“看到”的前提。“但現實場景中獲取的視覺數據往往因伴隨濃霧、畫面模糊等原因導致視覺質量欠佳，圖像增強是機器視覺的一個基礎性課題。”鄒月嫻向記者介紹道。對于圖像增強技術，她帶領團隊重點開展了基于圖像處理和深度學習的圖像增強方法研究，設計了端到端抑制傳輸偏差來避免色彩失真和塊效應的深度圖像去霧模型，在多個主流數據庫上獲得了最佳性能。

讓機器在不同的場景中可以“看到”不同類別、不同尺度的物體和文字是機器視覺中目標檢測任務的核心內容，也是鄒月嫻機器視覺研究團隊開展的工作之一。在深圳市重點基礎項目和企業項目的支持下，團隊創新地開展濱海濕地監控視頻中的鳥類目標檢測研究，針對小尺度鳥類目標大量漏檢和檢測模型尺度魯棒性差的問題，提出了多個目標檢測算法，該項工作成果已獲得企業實際應用，為自然界鳥類監控提供了新的技術手段。

上述機器視覺任務屬于感知智能范疇，隨著技術發展，AI進入認知智能研究階段，讓機器“看懂世界”是目前的主要課題。“人類理解世界的信息有70%以上來自于視覺，我們對人腦加工視覺信息的機理尚未完全了解。”鄒月嫻介紹道。她的團隊也開展了人-物體交互行為建模與檢測方法研究，構建了新的網絡框架來分層實現交互式推理模型，可動態解析視覺目標之間的交互式語義信息。該研究成果已經發表在國際人工智能聯合會議（AAAI2020）上，獲得了高度認可。

與智能化同行

除卻高度的敏銳性外，鄒月嫻在科研方面另一個最大的特點就是以實際問題為導向。比如，鄒月嫻曾作為課題負責人參與了深圳市重點基礎項目“智慧家庭服務機器人聲學場景深度分析方法研究”。面向智慧家庭服務機器人應用，她和團隊建立了家居聲學場景音頻信號采集方法研究和音頻數據庫，并開展了家居聲學場景下的異質多聲源定位和追蹤方法研究及多域、多任務信息處理機制和特征學習機制研究；同時，他們還研究了家居聲學場景多人說話信號的分離機理與算法，對家居聲學場景日常音頻事件和異常音頻事件檢測方法展開探索，已取得突破性進展。

2020年教師節，現代信號與數據處理實驗室全體成員合影。

一直以來，深圳市在人工智能創新思維與產業戰略布局方面，一直走在全國前列。而鄒月嫻看到了在學術研究和技術積累的厚度上，深圳還遠落后于北京和上海。在深圳市科學技術協會的指導下，2019年3月，鄒月嫻聯合8家高等院校及75位學界精英和AI產業帶頭人申請成立了深圳市人工智能學會，并擔任學會副理事長兼秘書長，擔起推動深圳市人工智能科學與技術發展的責任，成為深圳市人工智能發展的領頭人之一。正如她在2020年高交會深圳人工智能高峰論壇上總結說：“深圳市人工智能學會面臨著前所未有的發展機遇，學會將努力融合我國智能科學與技術領域的高等院校、研究機構、企業、專家學者、學生群體，積極開創新形勢下深圳市人工智能科學與技術發展的新篇章。”

海闊憑魚躍

在人工智能研究領域，鄒月嫻宛如百發百中的神槍手，始終能夠準確地瞄準國際前沿和產業需求。她認為，這與她積極參與深圳市各種項目評審、積極參與國際會議交流有關。“我不僅親自多次邀請工業界和國內外學術界專家進行學術交流和講座，也參與深圳市信息行業學會的專家活動和政府組織的交流座談活動等。”談及這個問題的時候，鄒月嫻眼睛里有一種萬事篤定的沉穩。事實上，她還先后擔任ICASSP2019宣傳主席、AIMS2018程序委員會主席等多個國際會議職務。廣泛而高質量的學術交流和服務使她可以洞悉國內外的技術發展趨勢，使自身的研究與國際先進理論緊密結合。

因為熟知前沿研究成果對培養人工智能領域人才的重要性，她在教學過程中非常注重讓學生們接觸前沿理論和最新研究成果。如今，鄒月嫻為計算機應用技術專業的碩士和博士研究生開設了學位必修課程“機器學習及其應用”，在教學上采用公認的權威教材，將最新的科研成果理論與方法引入教學內容中。“另外，我每年都會帶領學生參加領域內的國際頂尖會議，有幸與Alan V.Oppenheim教授、李飛飛教授、俞棟教授、鄧力教授等知名學者展開密切的交流。”鄒月嫻頗為自豪地說道。

鄒月嫻在實驗室門口的展板上寫下“海闊憑魚躍、天高任鳥飛”以鼓勵實驗室的同學們。經她培養的學生，一部分在畢業后選擇了出國留學，繼續深造，很大一部分學生則選擇畢業后進入華為、騰訊、百度、美團、頭條、字節跳動、網易等著名AI公司，繼續為我國人工智能行業的發展貢獻力量。

在鄒月嫻看來，世界已經逐漸步入人工智能時代，趨勢和潮流無法阻擋，只能清醒認識和積極參與。作為一名女性科學家、人工智能領域的資深教授，她說她仍會很堅定地站在人工智能時代的潮頭，格物明德，以教育者之心，為祖國培養人工智能領域的優秀人才；以研究者之心，發現知識與真理，推動我國人工智能技術發展與應用落地，期待人工智能之花在中國綻放。