基于移動端圖像識別的題庫采集模型實踐研究

摘要：借助圖像識別技術，我們不僅可以通過圖片搜索更快地獲取信息，還可以產生一種新的與外部世界交互的方式，甚至會讓外部世界更加智能地運行。本文通過對題庫建設中采集題庫的現狀進行分析，給出了基于移動端圖像識別的題庫建設方案。

關鍵詞：圖像識別；OCR；題庫采集；移動終端；特征建模

中圖分類號：G434 文獻標識碼：A 論文編號：1674-2117（2016）12-0075-04

● 采集題庫的現狀

隨著經濟和社會的發展、“互聯網+”的廣泛應用及教育觀念的更新，我們迫切需要科學、方便、完善的網絡型題庫管理系統。試題庫建設是教育現代化的需要，是考教分離、最大限度提高辦學效益的需要，因此，進行區域網絡試題庫系統的建設和研究具有十分重要的意義。

受限于教材版本和區域應用層面的需求，采購商業化的題庫并不能完全滿足教育教學的實際要求。手握大量紙質試卷的老師們，迫切需要一個錄入神器，方便快捷地將其錄入到題庫系統里。

利用基于移動終端的圖像文字識別技術將文字和圖片迅速錄入題庫是我們在移動端系統開發的應用亮點。它能夠大幅提高對質量不高圖像的識別率，其關鍵算法對圖像的噪聲、亮度明暗不一致和規格凌亂的問題進行了很好的處理。它能夠將圖像上傳到服務器進行在線識別，在識別過程中先對圖像進行消噪，然后對亮度進行均衡處理及對圖像閾值分割，提高了圖像識別的成功率。

● 題庫采集系統工作流程

題庫采集主要分為圖像采集、圖像識別和標注三個過程。整體的工作流程包括：①系統啟動，進入主界面，可選擇開始拍攝閱卷或讀取設備中已有的圖像，如選擇拍攝題目，進入圖像采集模塊，調用移動設備的攝像頭進行拍攝，拍攝成功后，跳轉至識別界面，如選擇讀取相冊已有圖像也跳轉至識別界面。②在識別界面上顯示出拍攝或者讀取的相冊圖像，首先調用圖像預處理模塊對圖像進行預處理，輸出預處理后的圖像，然后調用圖像校正模塊對預處理圖像進行校正，輸出校正圖像，最后調用圖像識別模塊對校正圖像進行識別，輸出識別結果。③調用標注模塊對識別結果進行分類管理，為題目添加系統屬性，如學科、章節、知識點類目、題型、難度系數等標簽。圖1為題庫采集系統工作流程示意圖。

● OCR智能模型設計思路

在人工智能領域，模擬人類圖像識別活動的計算機程序，人們提出了不同的圖像識別模型——模板匹配模型。這種模型認為，識別某個圖像，必須在過去的經驗中有這個圖像的記憶模式，又叫特征模型。當前的刺激如果能與大腦中的模型相匹配，這個圖像也就被識別了。例如，有一個字母A，如果在腦中有個A模板，字母A的大小、方位、形狀都與這個A模板完全一致，字母A就被識別了。圖像識別中的模型識別（Pattern Recognition）利用計算機和數學推理的方法對形狀、模式、曲線、數字、字符格式和圖形自動完成識別、評價的過程。

那么如何通過模型的學習提高OCR的智能判斷水平呢？我們主要從以下三個方面做了實踐研究。

1.采集識別優化

（1）二值化處理

二值圖像在數字圖像處理中占重要地位，其在處理實際圖像過程中地位更加突出。要應用二值圖像，掃描文檔之后的第一步就是對灰度圖像根據所選閾值進行二值化處理。二值圖像是像素值為0或255的像素點集合，如此一來，圖像的數據量大大減少，但圖像的基本輪廓信息得以保留。此項的關鍵是所選取的閾值是否得當，不當則會減弱二值圖像的處理效果。常用的閾值選取方法有固定閾值法、平均閾值法、直方圖法、Means法四種。

谷歌公司在HP公司Tesseract光學字符識別引擎的基礎上做了深度加工，其中對閾值的自適應分類器和兩步矯正法的應用大大提高了文本的識別效率。近幾年來，百度針對商業運用開發了自然場景OCR API服務，依托百度的OCR算法，提供了整圖文字檢測、識別、整圖文字識別、整圖文字行定位和單字圖像識別等功能。目前火熱的作業幫APP就是基于百度識別API做的延伸產品（如圖2）。

（2）圖像去噪與矯正

任何一幅原始圖像，在其獲取和傳輸的過程中，都會受到各種噪聲的干擾，使圖像質量下降，淹沒其特征，對圖像分析非常不利。為抑制噪聲、改善圖像質量所進行的處理被稱為圖像平滑或去噪。

圖像平滑是用于突出圖像的寬大區域和主干部分（低頻部分）或抑制圖像噪聲和干擾（高頻部分），使圖像平緩漸變，減小突變梯度，改善圖像質量的圖像處理方法。它屬于圖像增強的一部分，主要的圖像平滑方法有均值濾波、中值濾波、灰度形態學濾波、小波濾波、高斯低通濾波以及統計方法濾波。

已獲得的文本圖像有些不可避免地會發生傾斜，這樣會給后面文字的行切分和列切分以及文字的識別帶來困難，所以需要對獲取的圖像進行傾斜校正。圖像的傾斜校正最關鍵的是傾斜角的檢測，我們主要采用平行四邊形法進行文本圖像的校正（如圖3）。根據拍攝者給出的一系列文件位置點，用位置點的坐標結合模型擬合出文本線，根據文本線與水平線之間的差距進行精確恢復，以得到水平分布的文本行。

2.特征提取與建模

特征提取是圖像識別的重要步驟，為了保證后續處理的質量，生成的特征要具備描述物體的典型特性，如獨特性、完整性、幾何變換下的不變性、靈敏性以及抽象性。我們設計的系統的特征模型包括文字特征、圖片特征、公式特征等。

提取圖像特征關系可以有兩種方法：一是對圖像進行合理地分割，劃分出圖像中所包含的對象或區域，然后根據這些區域提取圖像特征，并建立索引；二是簡單地將圖像均勻地劃分為若干規則子塊，然后對每個圖像子塊提取特征，并建立索引。

圖像特征建模的基本原則是根據圖像的視覺內容和可獲得的指導信息來確定對應的文本語義描述。在圖像標注任務中會涉及兩種不同的媒體：一是圖像，二是文本。這兩種媒體具有良好的互補性，可以協作傳遞信息，正所謂“圖文并茂”。由這兩種媒體可以產生4種關系，即圖像間關系（IIR）、詞間關系（WWR）、由圖像到詞的關系（IWR）和由詞到圖像的關系（IR）。

3.基于標注模型的學習與訓練

我們通常采用兩兩圖像之間的視覺相似性（pairwise similarity）來建立以圖像為節點的相似圖，但這種方式由于沒有考慮到數據集或某個數據子集內的結構分布信息，效果不能令人滿意。因此我們引入了第二個以詞為節點的圖學習過程，用來實現對圖像標注的改善。

最常見的是屬性相關性，如“李白”是“古詩文”的關系。除此之外，詞匯之間還存在多種相關性，如“凸透鏡”與“光”之間有著很強的聯系，這種相關性不依賴于特定數據集，它是人們在生活中大量知識的積累和反映。當一幅圖像已被標為“凸透鏡”“光”等詞匯后，初中物理作為該圖像標注詞匯的概率就會相應提升。為了獲取這種相關信息，一種方法是從訓練數據集中利用已標注詞匯間的共生概率來計算詞匯間的關系。該方法基于已標注信息，相對準確，但它不能反映更廣義的人的知識。于是，我們可以采用另一種方法，利用具有大量詞匯的、包含了人的知識的結構化電子詞典來計算詞匯間的關系。與統計方法相比，詞典包括了更加完整的大數據關聯信息。由此我們設計了基于標注的模型學習體系（如下頁圖4），通過提取題目圖像的特征點綁定其隱形屬性，再與拍攝者提供的顯性屬性做比對，進行數據建模，并引導系統修正其三大特征庫（文字、圖片、公式），實現自我學習。

需要注意的是，基于標注信息描述由圖到標簽的關系，更適合按照多標記分類（multilabel classification）問題來解決。具體而言，假設標注詞匯服從多項式分布，由此將圖像標注歸為多類別分類問題，而題庫的分類方式恰恰符合這樣的多標記模型（相對固定是顯性標簽：學科、學段、知識點、章節、難度等）。

● 注意事項

1.基于API方式的接入能使產品得到快速開發

例如，當前百度通過專業服務分發平臺APIStore開放百度文字識別技術，讓開發者可以零成本使用基于移動應用的OCR技術，為開發者創新應用提供了更多的選擇。

2.題庫特征建模要考慮學科特征

實踐證明，文科和理科的題目有著截然不同的特征屬性，如語文更注重詞匯與語法方面的訓練，而數學包含了大量的公式和二維化的圖像。往往數學在小學和中學階段的題目也會表現出不同的特征屬性，在建模的同時要注意抽取。

3.未來的方向是要構建基于題庫圖像模型的題庫推送規則

當題庫的建構達到一定數量之后，我們要將圖像和翻譯成的題目都保存下來，再根據拍攝者的需求做相關的推送，根據其使用的情況（如點擊率、評價等）再對模型進行修正。

從目前的技術發展角度看，突破性來自于機器語言翻譯方面的研究成果：通過一種遞歸神經網絡（RNN）將一種語言的語句轉換成向量表達，并采用第二個RNN將向量表達轉換成目標語言的語句。而谷歌將以上過程中的第一種RNN用深度卷積神經網絡CNN取代，這種網絡可以用來識別圖像中的物體。此種方法可以實現將圖像中的對象轉換成語句，對圖像場景進行描述。概念雖然簡單，但實現起來十分復雜，科學家表示，目前實驗產生的語句合理性不錯，但還遠談不上“完美”，這項研究目前還處于起步階段。相信在不久的將來此項發明將應用于教學領域，那么基于云模式下的圖像識別系統將得到一個質的飛躍，它也將使圖像識別與深度學習更加緊密地聯系在一起，最終實現系統對互聯網上教育資源摘取和自學習的強大功能。

參考文獻：

[1]黃明明.圖像局部特征提取及應用研究[D].北京：北京科技大學，2016.

[2]劉淼，楊鎮豪，謝韻玲，謝冬青，唐春明.Android圖文同步識別系統的設計和實現[J].計算機工程與設計，2014（06）.

[3]李龍卓.基于形狀特征的圖像檢索技術研究[D].青島：青島科技大學，2015.

[4]付蘆靜，錢軍浩，鐘云飛.基于漢字連通分量的印刷圖像版面分割方法[J].計算機工程與應用，2015（05）.

[5]陳珍，夏靖波，柏駿，徐敏.基于進化深度學習的特征提取算法[J].計算機科學，2015（11）.

作者簡介：黃毅晟，教育信息化研究員，研究方向為教育應用系統開發、教育技術應用研究。