研究生課程高級數字圖像處理的建設方案

張林　沈瑩

摘 要：分析高級數字圖像處理課程的教學內容，提出教學內容要緊密圍繞圖像處理研究領域的最新研究成果展開，圍繞課堂授課內容、實踐環節、論文閱讀3個方面對這門課程的建設方案進行全面闡述。

關鍵詞：軟件工程；高級數字圖像處理；研究生課程

1 背 景

數字圖像處理作為一門獨立學科大約形成于20世紀60年代初期，它是一種通過計算機對圖像進行去除噪聲、增強、復原、分割、配準、壓縮、提取特征等處理的技術。最近10年以來，伴隨著計算機軟硬件水平的快速進步，數字圖像處理的理論與應用都進入到了迅猛發展階段，其研究內涵、研究方法、應用領域等都較之前發生了很大程度的改變。

在此背景之下，面向研究生開設的高級數字圖像處理課程的教學內容需要反映出這個學科的前沿特性，需要結合當前主流的應用領域。

2 課堂授課內容

數字圖像處理課程在國內外的很多院校都有了較長的開設歷史，相應的經典教材也有很多，比如岡薩雷斯編著的《Digital Image Processing》[1]等。同濟軟件學院在本科大三年級也開設了數字圖像處理課程，講授經典數字圖像處理內容。因此，針對研究生開設的高級數字圖像處理課程絕不能再去炒本科階段的“冷飯”，而應該引入新穎的內容，從而體現出課程名中的“高級”二字?？紤]到這些因素，我們在制定課堂教學內容時選取一些近年來在數字圖像處理領域所取得的較新的重要研究成果，這種做法使得我們的研究生能夠較為快速全面地了解該領域的前沿情況，為他們在此方向繼續進行深入研究打下良好的基礎。同時，所選取的授課內容比較契合產業界當前的最新需求，從而可以使我們培養的研究生能夠在就業市場上占得先機。

2.1 深度卷積神經網絡

最近5年來，深度學習（deep learning）技術給機器學習領域帶來了許多革命性的變化，解決了很多傳統方法難以克服的問題。這項技術也漸漸在圖像處理領域得到應用，并已取得了很好的結果。比如，深度學習已經用于解決圖像的超分辨率問題、圖像的去模糊問題、圖像的去霧霾問題、圖像的精細化分割問題等。由于深度學習屬于基礎理論范疇，在本課程的其他專題中也會經常使用到，所以先講授這部分內容。

自從2012年Alex Krizhevsky等在NIPS上發表了把深度卷積神經網絡（Deep Convolutional Neural Network，DCNN）應用于解決大規模圖像分類問題的成果以來[2]，在機器學習和計算機視覺領域掀起一股研究和應用深度學習技術的熱潮，并在許多不同領域取得了很大成功。深度學習技術近來的巨大成功一方面得益于大規模帶有標記的數據的出現，一方面是由于計算技術的進步（如GPU）。深度學習實際上是一種對數據表示（representation）的學習技術。深度學習模型由多層簡單模塊疊加形成，每一層都會對輸入進行變換來同時增加數據表達的選擇性和不變性。圖1展示了一個典型的深度卷積神經網絡結構。深度學習模型可以從原始數據中學習到它們具有不同抽象層次的多層表示。深度學習技術的一個顯著特點就是它對數據特征的學習不是手工的，而是用通用的學習策略從數據中自動學習到。

在本專題中，教師會介紹深度神經網絡的基本知識，主要涉及的知識點有：Softmax回歸（softmax regression）、深度卷積神經網絡（DCNN， Deep Convolutional Neural Networks）、Pooling策略、非線性激勵策略、訓練集測試集與驗證集、隨機梯度下降法（stochastic gradient descent）、Fast-RCNN（Fast Region-based Convolutional Networks）、CAFFE的應用等。

2.2 圖像質量評價

在大部分的圖像應用系統中，圖像質量評價（image quality assessment， IQA）都扮演著重要的角色[3]。雖然人的主觀評測往往能比較準確地衡量圖像的質量，但在很多實際的應用場景中，由人逐一對圖像的質量進行評測是效率很低的一種做法，甚至是根本不可行的。在這種背景下，構建有效的、自動化的圖像質量評價算法就成了一個具有重大意義的研究課題。圖像質量評價研究的最終目的是希望提出某些算法，這些算法可以對圖像的質量進行自動評價，而且評價的結果能夠和人的主觀感受高度一致。圖2通過一個示例展示了IQA算法的目的，（a）～（d）是4幅圖像，人的視覺系統可以很容易對它們的質量水平進行排序；IQA研究的目的就是要設計出自動化算法，該算法可以對輸入圖像的質量進行自動評估，而且評估結果要和人的主觀感知高度一致。

圖像質量評價的研究在整個圖像處理領域中占有重要地位。一方面，它具有很強的理論價值和科學價值，有助于加深人們對于人腦是如何感知圖像信息這一問題的理解，這也是腦科學和神經生物學所關注的問題；另一方面，它也有很強的應用價值，可以應用到多個與圖像相關的技術領域中。目前很多圖像和視頻解決方案的提供商（如華為、中興）都對IQA問題極為重視。

根據高質量參考圖像（這些圖像不存在質量失真）的存在性，圖像質量評價問題可以細分為全參考圖像質量評價（full-reference IQA，FR-IQA）、部分參考圖像質量評價（reduced-reference IQA，RR-IQA）和無參考圖像質量評價（no-reference IQA，NR-IQA）。在本課程中我們主要講授FR-IQA和NR-IQA的典型算法。在FR-IQA中，高質量無失真的參考圖像是已知的，因此FR-IQA算法可以用來評價同類型的圖像復原算法的優劣。比如，給定多個圖像去噪算法，好的FR-IQA算法能夠準確地判斷出它們中的哪一個能產生主觀感覺上最好的去噪效果，相應的去噪算法當然就是效果最好的去噪算法。其次，FR-IQA算法還可以用于指導某個圖像處理算法的參數選擇，甚至可以直接作為優化目標來指導設計新的圖像處理算法。在NR-IQA問題中，任何有關無失真高質量圖像的信息都是未知的，NR-IQA算法要對一個輸入的圖像直接進行質量評價。NR-IQA計算模型的應用范圍非常廣泛，比如，當我們設計一個基于人臉識別的門禁系統的時候，一般需要對采集到的圖像樣本進行質量評測步驟；只有當圖像樣本滿足一定的質量要求的時候，它才會被輸入到后端特征提取與分類模塊進行進一步處理。在這種場景下，對人臉圖像的質量評測實際上就是一個NR-IQA問題。

本專題的主要知識點包括：圖像質量評價問題分類、MSE（mean squared error）指標的問題、SSIM（structural similarity）算法、相位一致性（phase congruency）、FSIM（feature similarity）算法、BIQI（blind image quality index）算法、NIQE（natural image quality evaluator）算法、IL-NIQE（integrated local natural image quality evaluator）算法、圖像質量評價算法的性能評測策略。

2.3 圖像中霧霾的度量與去除

很多圖像應用系統需要在室外條件下采集圖像，如監控系統、智能交通系統、輔助駕駛系統、基于手機的地標查詢系統等。這些系統在設計與部署的時候會假設成像系統工作時的天氣條件是良好的，獲取的圖像是正常清晰的，沒有充分考慮惡劣天氣條件對成像質量造成的不利影響。然而，實際上惡劣天氣條件會極大地降低圖像質量，從而會影響整個系統的可用性。影響成像質量的惡劣天氣主要包括霧、霾、雨、雪、冰雹等，而這其中霧霾較其他天氣現象而言更易多發，而且對成像質量造成的影響更大。在本專題中，教師將講授當前研究領域最新的圖像霧霾程度度量算法和圖像去霧霾算法。圖像中霧霾程度度量研究的最終目的就是構造一種算法，它可以對輸入圖像中的霧霾程度進行自動地、準確地度量。圖像去霧霾算法的目的是從含有霧霾的圖像中復原出沒有霧霾的高質量清晰圖像。

本專題的主要知識點包括：霧霾的物理模型、FADE（Fog Aware Density Evaluator）霧霾度量算法、基于暗通道（dark channel）假設的去霧霾算法、基于單張圖像的深度估計、模擬霧霾樣本的生成、基于DCNN的去霧霾模型。

2.4 生物特征識別

如何進行簡單有效的身份識別和驗證成為各級政府和企事業單位需要面對的一個日益嚴峻的問題，生物特征識別技術目前被公認為是一個較好的解決方案。生物特征識別技術通過計算機與光學、聲學、傳感器和統計學等高科技手段，利用人體固有的生理特征（如指紋、虹膜、人臉、掌紋等）和行為特征（如筆跡、聲音、步態等）來進行個人身份識別和驗證[4]。目前，生物特征識別技術已廣泛應用于我國的多個重要行業部門，如軍事、公安、刑偵、民政、海關等。未來的生物特征識別系統能夠使身份識別與驗證變得更加方便、快捷、可靠，因此，這個產業具有廣闊的市場前景和巨大的潛在商業價值。圖3展示了常見的生物特征，包括指紋、人耳、人臉、虹膜、掌紋、手掌靜脈、手指靜脈等。

在本專題中，教師會介紹生物特征識別領域的基本理論以及典型的生物特征識別技術，主要知識點包括：生物特征識別系統的性能評價、虹膜識別技術、指紋識別技術、人臉識別技術、掌紋識別技術。

3 實踐環節

通過課堂內容的學習，學生可以了解到圖像處理領域目前所使用的主流理論和技術，但高級數字圖像處理課程應用性極強，因此其實踐環節尤為重要。實踐環節要真正起到培養研究生分析問題、解決問題、綜合運用多學科知識的作用。在實踐環節中，任課教師設計了一組開放性課題，這些課題都與任課教師目前正在從事的科研項目有關。這樣，當學生在實踐環節中遇到具體問題時，任課教師能及時給出建設性意見。對于每一個開放課題，基礎數據和硬件平臺都由任課教師提供，學生的任務主要是運用所學知識設計和實現解決問題的算法。

目前的開放性課題主要包括以下5個：行人的上半身檢測、自主泊車系統中的車庫位檢測（檢測效果見圖4）、非接觸式掌紋掌脈識別（任課教師設計制備的非接觸式掌紋掌脈采集裝置見圖5）、基于深度卷積神經網絡的圖像去霧霾、圖像的視覺顯著性檢測。這些課題基本上都屬于圖像應用領域的研究熱點。

在實踐環節中，一般安排2～3人組成一個小組來協作完成一個課題，客觀上也培養了研究生團結一致、分工協作的能力。

4 論文閱讀

科技文獻閱讀能力是研究生教學過程中需要重點培養的一種能力。文獻閱讀會貫穿整個研究工作的始終，從找到研究問題、了解當前發展現狀、提出可行方案、制訂實驗方案，再到最終論文撰寫，都離不開文獻閱讀。因此，在本課程中專門安排了文獻閱讀環節。學生在教師的指導下，從指定的范圍內選擇一篇合適的論文進行精讀，然后要求在課堂上講演。所選擇的論文主要是近年來發表在圖像處理領域頂級期刊（如IEEE T-PAMI、IEEE T-IP等）或會議（如CVPR、ICCV、ECCV等）上的論文。講演環節的評分考慮到以下因素：能否清晰介紹問題背景、能否清晰介紹論文所提方案的設計動機、能否清晰介紹論文所提方案、能否清晰介紹論文方案所取得的效果、能否提出自己的改進想法。

5 課程建設方案的效果評估

從2013年開始，高級數字圖像處理課程已經完整開設了4次，教學效果良好，在學生中引起強烈的反響，獲得同濟大學相關專家和學生很高的評價。從精心安排的課堂授課專題中，學生學習或了解到圖像處理領域當前最主要的研究問題和研究方法；在實踐環節中，學生以任課教師正在從事的科研項目為載體，鍛煉了分析問題、綜合運用所學知識解決問題以及團隊協作的能力；在文獻閱讀環節中，在教師的指導下，學生提升了查閱文獻、獲取論文中的有效信息、做講演等方面的能力，課程建設方案達到了這門課的開設目的。

6 結 語

高級數字圖像處理課程是同濟大學軟件學院新開設的一門前沿課程，覆蓋了多項圖像處理領域的前沿研究內容。該課程已經完整開設了4個周期，取得了良好的教學效果，獲得了相關專家和修讀此課的學生的高度評價。在今后的教學實踐中，我們還會認真聽取相關專家和學生的建設性意見，對課程建設方案不斷完善，與時俱進，從而持續提升該課程的教學質量。

參考文獻：

[1] Gonazlez R C， Woods R E. Digital Image Processing [M].Upper Saddle River： Prentice Hall， 2008.

[2] Krizhevsky A， Sutskever I， Hinton G E.Image net classification with deep convolutional neural networks[C]//Proceedings of Neural Information Processing Systems.Cambridge： MIT Press，2012：1106-1114.

[3] 高新波，路文.視覺信息質量評價方法[M]. 西安： 西安電子科技大學出版社， 2011.

[4] Jain A K， Flynn P J， Ross A. Handbook of Biometrics[M]. Berlin：Springer， 2007.

（編輯：郭田珍）