教學(xué)資源平臺中的圖像檢索策略研究

◆姜 雪

?

教學(xué)資源平臺中的圖像檢索策略研究

◆姜 雪

（東北師范大學(xué)信息科學(xué)與技術(shù)學(xué)院 吉林 130000）

為了解決教育資源平臺中海量圖片、視頻、Flash動畫等資源的檢索問題，本文提出一種結(jié)合Hadoop技術(shù)和基于內(nèi)容的圖像檢索技術(shù)的教學(xué)圖像檢索方法。利用MapReduce并行化編程模型，提取圖像顏色、紋理、形狀三種底層視覺特征，實現(xiàn)圖像資源的檢索。實驗表明，使用多特征綜合描述圖像資源的效果優(yōu)于單一特征。在處理大規(guī)模圖像檢索時，與單節(jié)點相比，集群環(huán)境能夠有效地減少特征提取和檢索的時間，提高檢索速度。

Hadoop；MapReduce；基于內(nèi)容圖像檢索技術(shù)；教育圖像檢索；教育資源平臺

0 引言

近年來，隨著網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)的快速發(fā)展，其在教育領(lǐng)域的應(yīng)用逐步深入，成為了現(xiàn)代化教育發(fā)展的強大動力。教學(xué)資源平臺作為現(xiàn)代教育技術(shù)的重要組成部分，包含了多種類型的數(shù)字化資源，如文本、圖像、音頻、視頻等。其為廣大師生提供了知識獲取、交流的平臺，在教學(xué)過程中發(fā)揮著不可替代的作用。尤其是云計算技術(shù)的出現(xiàn)，有效地解決了教學(xué)資源分配不均衡、難以共享、海量數(shù)據(jù)存儲以及數(shù)據(jù)安全等問題[1]。現(xiàn)階段，教育資源平臺的推進過程中還存在一些問題，尤其是海量資源的檢索問題。

目前，基于內(nèi)容的圖像技術(shù)是圖像、視頻檢索領(lǐng)域的主流方法。該技術(shù)根據(jù)媒體內(nèi)容提取信息，解決了基于文本的圖像檢索過程中人工標引工作不充分、具有主觀性、費時費力等問題，被廣泛應(yīng)用于國防安全、醫(yī)學(xué)圖像管理、衛(wèi)星遙感圖像、地理信息系統(tǒng)、電子商務(wù)等領(lǐng)域[2]。

本文結(jié)合云計算平臺Hadoop的海量存儲能力和并行計算能力，探究基于內(nèi)容的圖像檢索技術(shù)在教育資源平臺建設(shè)中的應(yīng)用。旨在解決教育工作者使用資源平臺檢索圖像時面臨的問題。由于視頻中的每一幀都可以視為一張圖片，因此還可以通過提取視頻、Flash動畫中的關(guān)鍵幀信息形成圖像集合，與師生提供圖像信息進行對比，實現(xiàn)視頻、動畫等資源的檢索[2]。

1 相關(guān)背景

1.1基于內(nèi)容的圖像檢索（Content-Based Image Retrieval, CBIR）

基于內(nèi)容的圖像檢索技術(shù)是20世紀90年代被研究者提出，解決了早期基于文本的圖像檢索技術(shù)（Text-Based Image Retrieval, TBIR）存在的需要人工標注關(guān)鍵詞以及檢索精度受關(guān)鍵詞質(zhì)量影響等問題[3]。其基本思路是根據(jù)圖像本身的物理內(nèi)容，由計算機自動提取出視覺特征，形成描述圖像的特征空間；查詢圖像時，通過特征空間進行相似度計算，返回與檢索圖像在視覺內(nèi)容上最為相似的若干副圖像。面對日益增長的圖像數(shù)據(jù)，CBIR技術(shù)區(qū)別于TBIR技術(shù)，存在以下特點[4]：

（1）檢索以圖像底層特征為依據(jù)。通過分析、提取圖像的視覺特征。例如顏色、紋理、形狀等, 或?qū)⒍喾N特征進行融合，形成表示圖像的綜合特征向量。

（2）以特征向量的相似度為度量準則。CBIR系統(tǒng)的目標是找出與查詢圖像視覺相似的圖像，并不要求準確匹配。因此，即使用戶提供的查詢內(nèi)容本身是不準確、不完全的，系統(tǒng)也能夠按照圖像間的相似性返回可能滿足要求的圖像集合。

（3）海量圖像數(shù)據(jù)的快速檢索。特征提取過程由計算機完成，替代了關(guān)鍵詞檢索的人工標引工作，檢索結(jié)果不再受人工標引主觀性的影響，檢索過程更高效，適應(yīng)性更強。

1.2 Hadoop云計算平臺

Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺[5]，能夠為用戶提供可靠、可擴展的、高效、高容錯性的分布式基礎(chǔ)架構(gòu)，簡化了集群環(huán)境的搭建工作。其核心包括Hadoop分布式文件系統(tǒng)（HDFS）和MapReduce并行化編程模型，分別負責(zé)大規(guī)模數(shù)據(jù)存儲和處理的工作。

HDFS 是一個可以運行在普通硬件集群上的分布式文件系統(tǒng)，可存儲超大文件并使用流對文件進行高速讀寫。該文件系統(tǒng)是一個主從結(jié)構(gòu)，包含一個NameNode和多個DataNode。NameNode作為主服務(wù)器，是集群環(huán)境的調(diào)度中心，負責(zé)存放系統(tǒng)元數(shù)據(jù)以及處理客戶端讀寫訪問的工作。集群中的多個DataNode節(jié)點則用于存放文件數(shù)據(jù)。當(dāng)文件進行存儲時，文件會被分割成若干個數(shù)據(jù)塊，被存放在集群中的各個DataNode節(jié)點，進而保證了數(shù)據(jù)的高可用。

MapReduce是一個可用于大數(shù)據(jù)處理的分布式計算框架，主要用于解決海量離線數(shù)據(jù)的計算問題。其基本思想是“分而治之，迭代匯總”。把一個大的任務(wù)拆解成多個子任務(wù)，并根據(jù)一定的分配策略將子任務(wù)分發(fā)到集群中的機器節(jié)點上運行，結(jié)果返回后再進行合并處理，從而實現(xiàn)Hadoop的并行任務(wù)處理功能。

2 CBIR在教學(xué)資源平臺的應(yīng)用現(xiàn)狀

教育部在《教育信息化十年發(fā)展規(guī)劃（2011－2020年）》中提出了建立國家教育云服務(wù)模式的目標[6]：充分整合現(xiàn)有資源，采用云計算技術(shù)，形成資源配置與服務(wù)的集約化發(fā)展途徑，構(gòu)建穩(wěn)定可靠、低成本的國家教育云服務(wù)模式。經(jīng)過幾年的不懈努力，目前全國、各省都已基本完成教學(xué)資源平臺的建設(shè)工作，真正實現(xiàn)了教育資源共建和共享。教育資源平臺在教學(xué)過程中也發(fā)揮著越來越重要的作用。在教育資源平臺的應(yīng)用中，還存在一些問題，如資源建設(shè)沒有遵循標準規(guī)范、資源審核、管理方面不健全等[7]。其中，隨著資源數(shù)量的飛速增長，如何在海量資源中快速準確地檢索到所需的資源，成為了師生目前面臨的首要問題，也是教育資源平臺推進過程中亟待解決的難題。

在國家教育資源公共服務(wù)平臺、國家精品課程資源網(wǎng)等建設(shè)較為完備的平臺中，圖像資源的檢索均使用基于文本的方式。通過資源名稱或關(guān)鍵詞與待查詢關(guān)鍵詞進行精準匹配，最終將包含資源關(guān)鍵詞的圖像集合進行展示。該方法雖然技術(shù)成熟、應(yīng)用廣泛，但由于目前資源的命名沒有統(tǒng)一標準，對于同一張圖像，尤其當(dāng)圖像中包含多個目標時，人們對圖像內(nèi)容的理解也不盡相同，導(dǎo)致一些相似資源無法被查詢。此外，有些資源平臺還提供了目錄樹形式管理資源。師生通過定位學(xué)年-學(xué)科-教材-章節(jié)的方式上傳或檢索資源，雖然在一定程度上解決了基于文本檢索不準確、不全面的問題，但這種方式不但增加了教師管理資源的工作量，還阻斷了學(xué)科、章節(jié)之間資源的互通性，檢索常常無法滿足師生的需求。雖然基于內(nèi)容的圖像檢索技術(shù)還未能在教育資源平臺中發(fā)揮重要作用，但已有一些學(xué)者對此問題進行研究探討，為CBIR技術(shù)在教育領(lǐng)域的應(yīng)用奠定了理論基礎(chǔ)。

柳青、魏春燕[8]從圖像的形狀特征出發(fā)，使用Hu不變矩算法，設(shè)計了教育圖像檢索系統(tǒng)。針對蘋果、蝙蝠等5類較為簡單圖像進行實驗，取得了較好的檢索效果。周勇[9]結(jié)合基于內(nèi)容圖像檢索技術(shù)的原理與特點，探討該技術(shù)在教學(xué)資源庫中的應(yīng)用。針對基于文本標引的圖像檢索方法更新慢，檢索結(jié)果不全面以及基于圖像底層特征檢索無法解決“語義鴻溝”的問題，提出了綜合文本標引和圖像內(nèi)容的檢索方法。兩種檢索方法優(yōu)勢互補，有效提高了檢索準確率。韓立華，王學(xué)軍，王曉芬[10]使用分塊直方圖法，Gabor小波變換法，不變矩法描述了圖像顏色、紋理、形狀特征。使用多特征融合方法進行圖像初次檢索，然后利用基于SVM的相關(guān)反饋技術(shù)進行多次檢索。通過實驗表明，與單一特征相比，多特征融合方法能夠更加準確地描述圖像內(nèi)容，提高檢索效果。在此基礎(chǔ)上，相關(guān)反饋技術(shù)的加入使檢索更接近用戶的檢索意圖。該方法有效地提高了教育資源中圖像檢索的查準率。

由此可見，目前基于內(nèi)容的圖像檢索技術(shù)在教育資源平臺的應(yīng)用仍然處于理論研究階段。隨著云計算技術(shù)的飛速發(fā)展以及其在教育領(lǐng)域的應(yīng)用逐步深入，教育資源快速增長，基于單一服務(wù)器節(jié)點的圖像檢索技術(shù)不再適用于海量數(shù)據(jù)的處理，無法應(yīng)用在當(dāng)今的教育資源平臺中。因此結(jié)合Hadoop和CBIR技術(shù)處理圖像資源是完善教育資源平臺檢索功能的新策略。

3 結(jié)合Hadoop 和CBIR的圖像檢索

3.1 CBIR系統(tǒng)框架

一個完善的CBIR系統(tǒng)，需要包含特征提取、圖片檢索、用戶相關(guān)反饋三個重要模塊。由于圖像規(guī)模大，圖像特征向量維數(shù)高等原因，特征提取過程和圖像檢索過程計算量龐大，耗費時間長，這也是圖像檢索效率低的一個重要原因。因此本文借助Hadoop平臺的并行化計算模型MapReduce，提出了可應(yīng)用于教育資源平臺的圖像檢索方案。結(jié)合Hadoop和CBIR的圖像檢索系統(tǒng)框架如圖1所示。

圖1 Hadoop和CBIR的圖像檢索系統(tǒng)框架

在特征提取階段，系統(tǒng)調(diào)用MapReduce作業(yè)，將存儲于HDFS中的海量圖像資源進行處理。分別提取顏色、紋理、形狀三種底層特征，形成表示圖像的特征向量和索引文件。在檢索階段，用戶提交待查詢圖片后，系統(tǒng)使用相同特征提取算法得到待查詢圖片的特征向量，調(diào)用MapReduce作業(yè)實現(xiàn)特征向量間相似度計算的并行化。

3.2圖像特征提取

本文借助LIRe (Lucene Image Retrieval )[11]圖像檢索框架，使用顏色自相關(guān)圖算法、Tamura算法提取圖像的顏色，紋理特征。并且考慮到形狀特征與顏色、紋理特征相比，更接近于目標的語義特征，在人們對圖像理解中起到重要作用。因此本文對LIRe框架進行擴展，使用Hu不變矩對圖像進行形狀特征的提取。該算法提取的特征值在圖像的縮放、平移和旋轉(zhuǎn)的情況下具有不變性[12]。

為縮短圖像特征提取的時間，本文使用MapReduce并行編程模型將任務(wù)分發(fā)至集群中的各個節(jié)點運行，實現(xiàn)了特征提取的并行化。基本流程如下：

（1）將圖像上傳至分布式文件系統(tǒng)HDFS，使用圖像路徑作為圖像的唯一標識imageId；

（2）在Map階段，讀取HDFS中的圖像作為Map函數(shù)的輸入。分別提取顏色、紋理、形狀的三種特征值，并將三種特征融合，形成綜合特征向量imageFeature，以鍵值對的形式輸出；

（3）在Reduce階段，收集所有圖像特征，建立索引文件；

（4）將索引文件存儲在HDFS中。

其中Map函數(shù)和Reduce函數(shù)的定義如圖2、3所示。

圖2 特征提取Map函數(shù)定義

圖3 特征提取Reduce函數(shù)定義

3.3圖像檢索

為縮短檢索時間，在檢索階段同樣基于MapReduce中 Map函數(shù)和 Reduce 函數(shù)實現(xiàn)檢索的并行化，具體流程如下：

（1）提交待查詢圖像到HDFS中，提取其綜合特征；

（2）Map 階段，比較待查詢圖像的綜合特征和索引文件中存儲的綜合特征，結(jié)合三種特征的權(quán)重，計算特征之間相似性。并以<相似度，imageId>的鍵值對形式輸出；

（3）Reduce 階段，對 Map 階段輸出結(jié)果進行收集，按照相似度從高到底進行排序，并將查詢結(jié)果寫入 HDFS；

（4）根據(jù)用戶需求，返回與待檢索圖像最為相似的前M幅圖像。

在該階段，本文使用加權(quán)的相似度計算方法。將顏色、紋理和形狀三種特征的相似度融合，形成綜合相似度計算公式：

Sim = wc*Simc+ wt*Simt+ ws*Sims（1）

公式（1）中，wC表示顏色特征相似性權(quán)重值，wt表示紋理特征相似性權(quán)重值，wS表示形狀特征相似性權(quán)重值，且wC+ wt+ wS= 1。

隨著教育圖像越來越豐富，人們很難界定哪種特征在描述教育圖像時最為合適。但通過多特征融合和加權(quán)相似度計算方法，師生就可以結(jié)合個人檢索需求和圖像特點，可選擇地增大或降低某一特征對相似度的影響，檢索出更滿意的圖像。

4 實驗及結(jié)果分析

4.1實驗環(huán)境

實驗使用的Hadoop集群環(huán)境由4臺計算機組成：一個master節(jié)點，三個slave節(jié)點。集群運行使用的Hadoop版本為2.7.0，JDK版本為1.8.0。計算機的硬件配置如下：雙核CPU，8GB內(nèi)存，200GB硬盤容量。

4.2檢索性能評價標準

本文使用在檢索領(lǐng)域應(yīng)用最廣泛、有效的評價標準：查準率（P）和查全率（R），衡量系統(tǒng)檢索算法的性能。

其中，N表示檢索相關(guān)圖像個數(shù)，M表示檢索結(jié)果總數(shù)，S表示相關(guān)圖像總數(shù)。

此外，檢索耗時也是評價系統(tǒng)性能的重要指標。一般來說，圖像的特征向量越復(fù)雜，檢索效果就越好，相應(yīng)的檢索時間就長。檢索時間和準確率是相互制約的。因此本文通過查準率和查全率衡量檢索的正確性，通過單節(jié)點和分布式環(huán)境下檢索時間的對比，驗證并行化檢索的效果。

4.3實驗結(jié)果

本文使用Corel 圖像庫作為測試數(shù)據(jù)集進行實驗。從中選取10類圖像，共1000幅進行檢索正確性的檢驗。在每一類圖像中隨機選取5張作為待檢索圖像進行實驗，取最為相似的30張圖像作為檢索結(jié)果。計算5次檢索的平均查準率和查全率，最終的實驗結(jié)果如表1所示。

由實驗數(shù)據(jù)可得，對于同類圖像，以單一特征進行檢索時，各個特征表現(xiàn)出的檢索效果不同。例如，對于建筑類圖像，顏色自相關(guān)圖算法的效果要明顯優(yōu)于Tamura算法。同時，多特征融合的方法在選取適當(dāng)?shù)臋?quán)值分配情況下，在一定程度上提高了檢索的準確率。因此在教學(xué)資源平臺中，使用單一特征提取算法進行檢索是不能保證結(jié)果正確性的。而多特征融合的方法，用戶可依據(jù)自身對圖像的理解分配特征權(quán)值，檢索效果更佳。

此外，本實驗使用了不同規(guī)模的數(shù)據(jù)集對系統(tǒng)性能進行測試。將在單節(jié)點圖像檢索耗時與集群環(huán)境下的檢索耗時進行對比，實驗結(jié)果如圖4所示。

當(dāng)數(shù)據(jù)量較少時，使用單節(jié)點進行圖像檢索的速度要快于Hadoop集群環(huán)境中的檢索。其原因主要是Hadoop集群進行任務(wù)分配調(diào)度工作需要耗費一定時間。隨著數(shù)據(jù)量的增長，Hadoop集群的海量數(shù)據(jù)處理能力得以發(fā)揮，與單節(jié)點相比，檢索速度有明顯的提升。

5 結(jié)束語

本文結(jié)合Hadoop平臺和CBIR技術(shù)，提出了一種適用于當(dāng)今教育資源平臺的圖像檢索方法。利用 Hadoop 的MapReduce模型將任務(wù)分配到集群的各個節(jié)點執(zhí)行，提取圖像顏色、紋理、形狀特征，進行特征向量的相似度計算，最終將查詢結(jié)果記錄在HDFS中，并將圖像返給用戶。實驗結(jié)果證明，該方法有效提高了海量圖像檢索的準確性以及檢索效率。將其應(yīng)用于教學(xué)資源平臺中，能夠豐富云計算技術(shù)在教育領(lǐng)域的應(yīng)用，優(yōu)化平臺檢索功能，為師生提供更加便捷、完善的服務(wù)。

圖4 單機環(huán)境和集群環(huán)境檢索時間

[1]王鳳領(lǐng).云計算環(huán)境下的高校數(shù)字化教育資源共享模式研究[J].工業(yè)和信息化教育，2014.

[2]陸文婷.圖像檢索中的特征表示模型和多信息源融合方式的研究[D].北京: 北京郵電大學(xué)，2012.

[3]徐曼，韋志輝.基于內(nèi)容的圖像檢索技術(shù)[J].計算機應(yīng)用， 2001.

[4]楊樹剛.基于內(nèi)容的圖像檢索算法的研究與實現(xiàn)[D].遼寧:大連交通大學(xué)，2008.

[5]劉剛，侯賓，翟周偉.Hadoop開源云計算平臺[M].北京: 北京郵電大學(xué)出版社，2011.

[6]余勝泉.推進技術(shù)與教育的雙向融合---《教育信息化十年發(fā)展規(guī)劃（2011－2020年）》解讀[J].中國電化教育，2012.

[7]楊光.教育資源平臺建設(shè)中存在的主要問題研究[J].求知導(dǎo)刊，2017.

[8]柳青，魏春燕.基于形狀的圖像檢索系統(tǒng)及其在教育中的應(yīng)用[J].中國現(xiàn)代教育裝備，2007.

[9]周勇，陳林海，黃水清.基于內(nèi)容圖像檢索技術(shù)在教學(xué)資源平臺中的應(yīng)用[J].現(xiàn)代教育技術(shù)，2011.

[10]韓立華，王學(xué)軍，王曉芬.多特征融合及SVM相關(guān)反饋技術(shù)在教育資源圖像檢索中的應(yīng)用[J].河北科技大學(xué)學(xué)報，2010.

[11]Lux M, Chatzichristofis S A. Lire： lucene image retrieval：an extensible java CBIR library[C]// ACM International Conference on Multimedia. ACM，2008.

[12]黃勇，王崇駿，王亮等.基于形狀不變矩的圖像檢索算法的研究[J].計算機應(yīng)用研究，2004.

[13]郭斌.對教學(xué)資源平臺建設(shè)的思考[J].寧夏教育科研，2011.

[14]朱為盛，王鵬.基于Hadoop云計算平臺的大規(guī)模圖像檢索方案[J].計算機應(yīng)用，2014.

[15]王梅，朱信忠，趙建民等.基于Hadoop的海量圖像檢索系統(tǒng)[J].計算機技術(shù)與發(fā)展，2013.

[16]譚臺哲, 向云鵬.Hadoop平臺下海量圖像處理實現(xiàn)[J].計算機工程與設(shè)計，2017.

[17]張永庫，李云峰，孫勁光.基于多特征融合的圖像檢索[J].計算機應(yīng)用，2015.