基于機器視覺的圖書亂架清點系統*
——以中南大學圖書館為例

●蘇志芳 徐德剛 袁小一 (中南大學 長沙 410083)

隨著圖書館紙質圖書量越來越大，特別是多校區、大流通模式下，讀者在借閱過程中會經常遇到OPAC顯示該書在館，但無法找到這本書的現象，其主要原因在于圖書亂架。圖書亂架是長期影響和困擾圖書館文獻開架服務的痼疾。設計一個有效的圖書亂架識別系統，既能快捷方便地解決圖書整架清點問題，又不需要耗費太多人力物力。

隨著圖像處理技術的快速發展，視覺識別系統已基本上實現了圖像特征抽取和分析，能自動識別圖像中的標志、字符、編碼結構[1]，使圖書圖像的文字識別和分析成為了可能。在物流廣泛應用的無線射頻識別技術也可以應用于圖書館。即為書庫中的每一冊書都貼上RFID電子標簽，在書庫中安裝閱讀器陣列，從而達到對亂架圖書進行定位的目的[2]。

隨著物聯網技術及智慧圖書館技術的發展，機器視覺技術在圖像學的應用也備受圖書情報業界的青睞，再輔佐以日益成熟的無線通訊技術，為大流通環境的圖書清點工作提供了新的視角和方法[3,4]，也為圖書館向智慧圖書館轉型打下基礎。

1 圖書亂架清點系統設計

本文設計的圖書亂架清點系統以自動化系統ILASⅢ為合作對象，主要包含以下三部分：基于DSP的數據采集器集成無線通信模塊、圖像處理模塊、基于圖書館自動化系統ILASⅢ的清點模塊，如圖1所示。具體流程如下：首先，通過手持移動數據采集器將在架圖書掃描，將掃描圖像進行分割和識別后，獲取書脊特征(書名和索書號)，將特征信息通過無線AP網絡傳輸圖書處理服務器；接著，調用ILASⅢ的書目信息和館藏信息webservice接口，將圖像信息分析的可能不完整的圖書索取號補全，根據完整的索取號進行亂架圖書識別；最后，將亂架圖書的書名和索取號等信息通過無線網絡反饋給數據采集器，并通過采集器液晶屏幕回顯。

圖1 基于ILAS的圖書亂架清點系統

1.1 數據采集器設計

本系統設計的圖像采集器硬件是根據實際查尋功能需求設計的，采用ARM + DSP的雙核處理器，通過ARM 子系統來控制網卡驅動等主要外設，DSP 子系統負責圖像的處理工作。圖書圖像采集過程如下：由模擬相機采集書架上圖書書脊的圖像信息，利用視頻線傳輸至DSP圖像采集裝置，經視頻解碼芯片解碼為16位數字數據，送入TI DM6446處理器，同時該處理器對視頻解碼器通過板上IIC總線進行配置。處理器將采集的圖像數據利用USART2發送至無線傳輸模塊。基于DSP的嵌入式圖書館藏書清點裝置圖像采集器的設計，如圖2所示。

圖2 基于DSP的嵌入式圖書館藏書清點裝置圖像采集卡的硬件結構示意圖

此圖像采集裝置包括：高分辨率相機、電源，相機與通訊底板、圖像處理核心板通過電纜相連。圖像處理核心板包括：動態隨機存儲器DRAM、FLASH存儲器，DSP處理器；DSP處理器的數據總線和地址總線與動態存儲器DRAM和FLASH存儲器相連，DSP處理器通過指定的地址訪問動態數據和靜態數據。通訊接口板包括：相機輸入端口、圖像解碼芯片、無線網卡、通用異步收發器、RS232收發器、RS232端口，相機輸入端口與相機相連，用于采集外部相機的圖像；圖像解碼芯片分別與相機輸入端口和DSP處理器的圖像輸入端口相連，用于接收相機端口的模擬圖像并進行解碼，生成數字圖像并輸出到DSP處理器，DSP處理器通過IIC總線對解碼芯片進行控制；通用異步收發器的控制器與DSP處理器的數據總線和地址總線相連，用于實現DSP處理器的并行數據與通用異步收發器的串行通信數據之間的協議轉換；RS232收發器與通用異步收發器相連，用于實現通用異步收發器串行通信數據與RS232通信數據之間的電平轉換；RS232端口是用于物理連接到外部RS232通信端口。

1.2 圖像處理模塊設計

獲取在架圖書的圖像后，經過預處理，需先分析圖書書脊的特征，再設計合適的工作流程將圖像進行切割，最后根據單個書脊圖像提取出書名和索取號。

(1)圖書館書架上的書脊圖像的特征。每本書書脊下方貼的索取號為圖書上架的依據，書脊上的顏色各異，這一點可以用于特征提取。

(2)工作流程設計。該模塊主要包含圖像的預處理和邊界提取、圖像的分割、子圖像的特征描述。具體流程如圖3所示。

圖3 圖像處理流程圖

第一，對圖像進行預處理，更好地突出邊界部分。預處理包括將彩色圖像轉化成灰度圖和灰度均衡。因邊界檢測時，子圖像提取時用彩色圖像來做比較費時，而用它的灰色圖像來做，不但節省時間，效果也是一致的。

第二，對圖像進行邊緣分割。本文采用分水嶺圖像分割算法[5]，以重構后的距離變換圖像為拓撲表面，距離變換圖中的最小值對應山峰，最大值對應山谷，用h頂開重構的改進變換求取距離圖像的各頂區域，其標識點作為分水嶺變換的種子區域，解決種子點難以確定的問題。已知一些點集分別屬于圖像中的各個待分割目標和背景，這些點集為標記集合，分水嶺變換時，僅從這些標記(區)開始模擬水淹沒過程。隨著水面的不斷升高會將無關的局部最小區域全部淹沒，最終在不同標記的目標之間形成分水線。

圖書書脊圖像頂點灰度值高，邊緣灰度值弱，因此采用上述所提出的面積重構H頂改進開變換來提取分水嶺變換標識點，然后對圖像求反，以求反后的泡沫圖像為拓撲表面，其分水線就為泡沫圖像中氣泡的邊緣。對H頂改進開變換提取到的標識需求反才能作為分水嶺變換的標識，其具體確定過程如圖4所示。同時，根據求取的標識點圖對重構后的距離灰度圖采用分水嶺算法得到分水線，準確地完成書脊邊界的分割。

圖4 標識特征點提取流程

第三，利用分水嶺邊界信息將原圖像分解成子圖像[6，7]。每幅子圖像就代表一本書，提取出的子圖像也便于下一步的特征提取。提取子圖像時，根據邊界信息，將含有單本書的圖像范圍內的像素值設為1，其余像素值為0，將新生成的邏輯圖像與原圖像做交集，就能得到一幅子圖像。

第四，用字符識別技術將書脊上的索書號和書名分別識別出來，從而完成書脊信息的提取[8]。在做字符識別之前，需先將這些字符區域分別定位，也就是對我們前面得到的圖像再進行細分，然后調用OCR技術對字符進行識別。至此，單本圖書書脊的書名和索書號均獲取到了。

1.3 無線傳輸模塊設計

作為新一代雙向無線通信技術，ZigBee符合IEEE802.15.4 協議，以其低功耗、低成本和靈活組網等優點，可廣泛應用于各種需要低速率傳輸的工業場合。在無線路由和每個DSP設備ZigBee子節點上都接有一個無線網絡收發模塊，通過這些無線網絡收發模塊，數據在無線路由和DSP設備ZigBee子節點之間進行傳送[9，10]。

ZigBee協議棧層次結構主要由應用層、應用接口層、網絡層和物理層組成。ZigBee模塊主要由PIC控制器和ZigBee射頻電路組成，PIC控制器通過SPI總線與射頻電路相連，實現了MAC層和ZigBee協議層及特定應用的邏輯。ZigBee射頻電路采用Chipcon公司的無線收發芯片CC2420，實現了物理層數據收發和底層控制。ZigBee 無線通訊子節點的功能為：脈沖量數據采集, 可采集圖像處理后的數據；通過無線通訊IEEE802.15.4 協議與無線路由通訊。

本系統設計的數據采集器基于ZigBee 協議，主要模塊包括DSP硬件模塊和無線通訊模塊，如圖5所示。

圖5 數據采集和無線傳輸模塊

無線通訊處理模塊主要負責加入現有網絡的初始化工作以及讀寫數據并對數據進行封裝，然后將DSP處理后的圖像數據根據AODV分族路由算法，發送到路由器，最后發送到遠端的ILASⅢ處理模塊。

1.4 基于ILASⅢ的清點模塊設計

根據圖像處理模塊獲取單本的書名和索取號后，我們發現有的索取號因為書脊厚度的不同顯示不完整，這時需根據書名信息調用中南大學圖書館集成系統ILASⅢ的Webservice接口，獲取該書目信息，從而獲取完整的索取號信息，并存入書脊信息數據庫中。由于某排書架的書脊信息在后臺信息庫中處于連續位置，對于開架書架中亂架的兩個主要問題：全庫圖書位置信息的獲取；亂架圖書的提醒和亂架圖書的正確位置歸位，可采取如下方案。

首先，經數據采集器將圖書館全庫圖書掃描后，將收集到每個書脊的索書號和書名存入書脊記錄表中，并結合圖書館藏數量等信息，生成“書脊位置信息表”。該表實際上是一個動態數據庫，記錄著全館每一本圖書當前的實際位置信息。該信息指明了某本圖書或在館內的某室某書架某層的某區域中，或已借出在某讀者手中。而且，圖書實際存放位置的變化隨著采集器清點的實行在表中隨時得到反映。

其次，再根據索取號排序規則，制定各個架位的圖書的錯架收集提醒及待歸架圖書的正確架位。其中確定不同索書號排列先后順序的步驟是：先比較分類號碼，順序分類號時要對位排列，即先比較一級分類號，一級分類號相同時，再比較二級分類號，以此類推，如分類號碼相同再比較著者號碼。其中，比較分類號時遵循的規則是：按索書號查找圖書，須先看分類號最前面的字母(按26個字母先后順序排列)；字母相同的再看字母后面的第一位數字(數字由小到大排列)；第一位數字相同的繼續看第二位數字的大小，依此類推；注意看同一位上的數字大小，不要看整個數字的大小；按分類排架，先排“—”，后排“.”。在系統中，我們設計了一個存放一張關聯“索書號”與“架位號”二維表格(如表1 所示)，當被識別的索取號和書名存放于一個excel文件中后，將其提取并與數據庫表格中的“索書號”字段進行匹配查詢，系統就可以得到相應的目標記錄。最后，通過讀取該記錄的字段信息，系統就可告知用戶該圖書最終的架位號。

表1 書脊位置信息表

2 關鍵技術

2.1 基于DSP處理器的實時圖像處理技術

DSP子系統的核心成員是TM320DM6446處理器[11，12]，利用該處理器強大的圖像處理功能，通過算法對書脊圖像進行分割以獲得書目的數量信息，并且結合漢字識別技術提取書脊圖像的特征，完成識別，并輔助以大容量的內存配置，解決了計算資源不足的問題；采用疊加式的硬件構架使得系統具有良好的可擴展性，DSP嵌入式圖像采集板卡可以通過疊加擴展板卡添加各種形式的外圍端口；移植了完整的微內核操作系統，DSP嵌入式圖像采集板卡可以脫離上位機獨立運行。

本DSP處理器使用TI公司的DSP/BIOS實時內核，它包括一個小的實時軟件庫、一套使用實時庫的API、一個易于使用的配置和分析工具。DSP/BIOS實時內核具有所有嵌入式操作系統具備的內存管理、中斷管理和多任務調度功能，可以簡單地實現內核對象的分配和使用，對DSP處理器片內資源調試極其方便，同時具有強大的實時調試功能。由TI 公司提供的CSS 集成開發環境，在軟件上給應用開發者提供了便利，無需繁復的編寫其他成熟模塊的程序。

2.2 圖書書脊的區域定位技術

從靜止圖像中提取出索書號區域和書名區域是圖書索書號識別中很關鍵的一步，可利用圖書索書號字符顏色差別、圖書索書號寬高比例，將圖書索書號從書脊背景圖片中分離出來[13-15]。在邊緣圖像中，利用水平掃描邊緣圖像來進行圖書索書號定位，考慮到噪聲的影響，用如下加強的灰度變化(Variation)：

(1)

式(1)中的distance 是掃描行內相鄰兩次變化間的距離，[?1，?2]為允許的掃描行內相鄰跳變間距取值范圍，因為索書號區域內各掃描行的跳變次數相對穩定，所以可以在圖像中搜索滿足該特征的區域來實現上下邊界的定位，該約束條件為：

l(Variation≥10)≥r

(2)

(2)式中l是滿足條件的連續掃描行數，Variation是掃描行內的灰度變化次數，r是多次測試后的經驗值。

根據式(1)給出的灰度變化定義，在邊緣中自下而上逐行搜索滿足條件的跳變點的數目，根據式(2)來確定每行是否穿過圖書索書號區域。根據掃描的結果確定候選區域的上下邊界。并采用統計窗口中相鄰像素的變化，確定區域的左右邊界。

3 效果分析

為進一步說明本文基于DM6446 圖書亂架清點系統的實際檢測效果，本文針對一排書進行了檢測實驗。試驗環境的假定如下：假定所有的圖片都在同一個焦距下取得，焦距間的相差不大；每次采集時，只采集一排書。每次的采樣率保持固定。

檢測實驗結果中單架圖書處理如圖6所示，(a)原始單架圖像，(b)黑白增強圖像，(c)圖像邊緣提取與分割。

(a)

將整架圖書切分成單本圖書后，對于索取號而言，處理如圖7所示：(a)分割后單本圖像，(b)分割后單本增強圖像，(c)分割后單本索書號邊緣特征，(d)字符提取圖像。

圖7 單本圖書的索取號提取

將整架圖書切分成單本圖書后，對于索取號提取不清晰的圖書，再將其書名信息處理如圖8所示：(a)分割后單本圖像，(b)分割后單本增強圖像，(c)分割后單本書名邊緣特征，(d)文字提取圖像。

(a) (b)

以圖書館2 000冊(估計每種圖書存在3～4冊的副本量)圖書信息作為操作目標，以對比人工亂架識別、RFID亂架識別和本文設計的DSP亂架識別的三組數據比對操作進行測試。結果表明人工識別2 000條記錄對比時間在5～10 分鐘之間，RFID識別對比時間為20～30秒之間，DSP識別對比時間在80～120 秒之間。這說明本DSP處理數據對比操作耗時在用戶可容忍范圍內，可減少清點服務空閑時間。同時，因RFID的高成本投入，而DSP設備相對低廉，可為圖書館節約開支。

4 小結

雖然基于DSP的嵌入式圖書館藏書清點裝置圖像采集卡的設計提高了圖書館的運行成本，但大量節約了圖書館員清點盤點的時間；而且由于該設備清點后的館內每一本書有了精確定位，原有的明知館內有藏書卻找不到的情況也會大大減少，從而提高了館內的圖書利用率；此外，對于放錯架的圖書，DSP設備會自動提出報警，圖書館員順架時只要處理報警提示的圖書即可，這樣也提高了圖書館的管理質量，使工作人員整架順架變得更迅速、便捷。

由此可見，基于機器視覺技術的圖書亂架清點系統的設計完善了圖書檢索系統中的圖書位置信息漏洞，提高了圖書亂架清點工作效率，也為大開架環境的圖書盤點提供了新思路和方法，進一步完善了圖書館的服務功能，提高了服務和管理的質量和效率。