任意紙質書籍實時化有聲閱讀系統的研究

李海華，程 駿

（1.華南農業大學圖書館，廣東 廣州 510642；2.廣東技術師范大學電子與信息學院，廣東 廣州 510665）

圖書館提供了大量的文獻藏書以及光盤資料，是人們閱讀消遣、獲取知識的重要場所，為人們提供了舒適、寬敞的閱讀空間。然而對于某些特殊人群，例如視障人士，或者眼睛疲勞、暫時不適合進行視覺閱讀的人士，傳統的圖書館視覺閱讀模式并不合適，因此，有聲讀物、有聲圖書館[1-3]應運而生。根據文獻記載，從1956年起，民主德國萊比錫市就開設了一個專為盲人服務的“有聲圖書館”。法國在1942年成立了國家圖書館音樂部，后通過法定繳送制度，逐漸發展成擁有非常豐富視聽資源的有聲圖書館。美國密歇根州立大學圖書館收集了包括柏特·凡谷聲音數據庫、內藏超過4 萬小時的有聲書。蘭登書屋專門成立聽書出版商——聆聽圖書館（RandomHouse Audio）[4]。

但是，傳統的有聲圖書必須由專業供應商將文字資料提前錄制成有聲音頻資源，存儲成光碟或者其他數字音頻形式，經過一系列的技術處理，才能供讀者使用。這種模式存在一定的缺陷：①現有的數字音頻資源數量有限，不是任何書籍都有配套的音頻資源；②專業音頻資源的制作存在一定的資金及技術門檻；③任何新的音頻資源的推出都需要一定的時間準備，無法達到實時化音頻閱讀效果。

針對以上問題，本文提出了一種任意紙質書籍的實時化語音圖書館閱讀系統，讀者能夠實時聆聽任何一本紙質書籍，特別適合視覺障礙人士、眼睛疲勞人士以及現代快節奏生活方式下的各類讀者。

1 系統結構與實現

1.1 系統整體結構

圖書館紙質書籍實時化有聲閱讀系統的總體結構如圖1所示。系統由圖書采集終端、無線傳輸系統、文字圖像識別系統、文字轉語音系統、音頻播放終端等部分組成。

圖1 圖書館實時有聲閱讀系統總體結構圖

1.2 系統原理與技術實現

圖書采集終端是在圖書館對應卡位的書桌上，安裝2個高清視頻攝像頭。閱讀時，讀者只需將書籍翻到某一頁，攝像頭就會實時采集頁面上的圖像數據，并發送給文字圖像識別系統，進行文字識別。之所以采用2個攝像頭方案，是因為實際的書籍頁面由于角度、光線的原因，有可能產生光學盲區，導致某一個區域無法采集到清晰的圖像，采用雙攝像頭，可以很好地解決這個問題。

無線傳輸系統采用semtech 公司創建的低功耗局域網無線終端LoRa 模塊，LoRa 無線模塊具有低功耗、高效率的無線傳輸特點[5-7]。只需要在服務器端配置一個LoRa 網關，就可以同時連接數千個LoRa 節點。因此，只需要在每個圖書采集終端配置一個LoRa 節點，在服務器端配置一個LoRa 網關，即可完成整個圖書館的有聲圖書網絡布局，該方案具有低成本、高效率的獨特優勢。

文字圖像識別系統的作用是將攝像頭采集到的書籍頁面圖像中的文字識別出來，可采用市面上成熟的算法技術方案。目前，百度公司和科大訊飛公司等企業，已經推出了商業化的成熟文字識別技術方案，而且價格適中，圖書館只需要支付適當的費用，即可使用成熟的圖像文字識別技術。

文字轉語音系統的作用是將文字信息轉化為語音信息，即完成文字信息的實時語音閱讀功能，科大訊飛公司提供了全套完整的商用化技術方案，且收費低廉，圖書館只需購買相應的技術方案，即可使用該功能。

音頻播放終端是由具有藍牙功能的一對耳機組成，用戶可以直接佩戴耳機，實時聆聽有聲閱讀服務，也可使用手機藍牙功能連接有聲系統，用個人手機操作和享受有聲閱讀服務。

1.3 系統的擴展功能應用

以上所述的系統功能實現后，用戶可以在圖書館實時享受到有聲聽書服務。一般情況下，用戶必須坐在圖書館有聲圖書卡位，才能享受相應服務。為了擴展服務范圍，讓更多的讀者能夠享受到此項服務，可以將系統功能擴展升級。

可在圖書館有聲讀書系統的LoRa 節點處同時配置一個4G/5G 移動通信網關，用戶可使用手機APP 接入圖書館有聲讀書系統。當用戶需要享受有聲讀書服務時，可用自己的手機攝像頭拍攝紙質書籍某一頁的圖像，然后利用APP 接入圖書館系統，利用圖書館的服務器完成文字識別、文字轉語音等功能，再將語音信息反饋給用戶手機APP，用戶可用手機直接聆聽有聲讀書服務。

該項功能升級完成以后，圖書館有聲圖書服務范圍將大大擴展，用戶只需掃描圖書館有聲服務二維碼，下載專用的APP 軟件，即可在任何時間、任何地點接入圖書館有聲服務系統，享受到有聲圖書服務。

但此項功能也存在一定的不足之處，即用戶手機攝像頭難以提供足夠精度的紙質書籍視頻，只能拍攝固定角度的靜態照片來采集數據，因此，采集到的紙質書籍圖像比較容易出現光學盲區、抖動影響、書籍頁面不平整等一系列問題，從而影響文字轉語音的識別正確率。

為了提高手機拍攝的文字識別率，最簡單的方法是采用多角度拍攝多張照片的方法來解決。經過實際測試，如果適當改變角度，在靜態條件下，拍攝3～4張同一頁紙質書籍的照片，通過APP 上傳到圖書館服務器以后，文字轉語音的正確率可以達到92%以上，能夠滿足讀者要求。

但是，如果用戶處于行走等動態條件下，手機拍攝的紙質書籍文字識別率將大大降低，通常需要拍攝8張以上的照片，才能達到90%以上的正確率，因此，使用手機APP 享受有聲圖書服務時，建議讀者最好處于靜態閱讀狀態，盡量不要做過度運動。

當然，采用拍攝多張照片的方法來提高文字識別率，用戶的等待時間就會延長。一般拍攝3～4 張照片，上傳到服務器以后，大約在9 s 以后，用戶才能聆聽到有聲圖書的閱讀服務。

除此之外，帶有攝像頭的個人電腦、各類筆記本電腦都可以作為擴展應用設備，連接到圖書館有聲聽書服務平臺。用戶只需要用個人賬號登錄圖書館有聲書籍系統，即可在任意場合使用自己的個人電腦連接有聲讀書系統，享受到圖書館有聲讀書服務。

2 存在問題及功能改進

2.1 無線信道頻率干擾問題

為了測試圖書館實時有聲閱讀系統的實際效果，搭建了一個16 節點的簡易測試系統，系統由16個有聲閱讀節點、LoRa 無線傳輸網絡及1 臺服務器組成。經過測試發現，當用戶數較少時，用戶可以實時享受流暢的有聲閱讀服務。用戶翻閱任意一本紙質書籍，系統可實時將書籍上的內容轉換為語音信息，用戶通過耳機聆聽，效果良好；但是，當用戶節點數接近16時，系統會出現卡頓或者是出現噪聲雜音干擾，經過分析發現，當多個節點同時工作時，各節點之間會出現無線信道頻率干擾，從而導致系統出現卡頓和噪聲。

為解決這個問題，設計了一套主機輪詢技術方案。即每次通訊前，都由主機發出無線引導信號，各從機接收到引導信號以后，只有特定的某臺從機可以通訊，從而避免了各個節點之間頻率干擾的問題。為保證主機輪詢方案正常工作，改進了LoRa 信息的數據格式，如圖2所示。

圖2 改進后的LoRa 幀數據格式

在每段標準的LoRa 數據之前，加入了4個字節的信息碼頭。其中第1、第2 字節，存儲的是各個節點的地址信息，所以一共可以存儲216，即65 536個從機節點信息。第3 字節存儲的是時間戳信息，即各個節點發出通訊請求的當前時刻信息，當主機輪詢開始時，各個節點會核對相應的地址信息和時間戳信息，主機每次會發出2個從機地址進入備選隊列，然后系統核對2個從機的時間戳信息，最后按照時間戳的先后順序，按照時分復用的原則，依次與主機通訊。第4個字節是糾錯碼，用于主從機之間的誤碼糾錯。

2.2 圖像采集誤碼問題

通過長時間連續測試，我們發現，大多數情況下用戶都能正常享受有聲閱讀服務，但偶然的情況下，有聲閱讀的內容會出錯，表現為幾個字或者一句話的內容與紙質書籍文字內容不一致。經過分析，發現這是由于圖書采集終端的問題造成的。由于紙張的表面不平整以及反光等現象，攝像頭采集的原始圖像可能存在某一小塊區域的圖像采集錯誤，采用雙攝像頭系統可以解決大部分的問題，但偶爾還是會出現小概率圖像采集錯誤。為了解決此技術難點，采用了補充調制光源技術，即在雙攝像頭的相應位置，分別補充2組LED 紅外發光二極管作為補充光源，紅外光肉眼不可見，因此對于讀者來說，閱讀沒有受到任何影響。紅外發光二極管兩邊各4個，分別采用頻率為12 kHz、25 kHz 的方波信號進行調制，這是由于自然界的光源均為穩定光源，自然界不存在12 kHz 和25 kHz 的調制信號。因此，采用紅外制信號作為補充光源，能夠大大增強圖像采集系統的抗干擾性。經過實測，改進后實際效果良好，系統可提供穩定優質的有聲圖書閱讀服務。

2.3 背景音樂的自動加載

有聲圖書的播放可以采用無背景音樂模式，但這樣會顯得比較單調。所以，大多數情況下，有聲圖書系統都采用了背景音樂伴奏模式。但目前，市面上所有的有聲圖書系統都采用固定配音模式，即在音頻文件制作時，就已經將某一段有聲圖書的背景音樂選定并錄制好了，后期無法改動。

本系統采用了自適應動態背景音樂模式。在手動模式下，用戶可以手動選擇不同的音樂來作為有聲圖書的背景音樂。在自動模式下，設計了一套背景音樂的選擇算法，即在文字圖像識別時，系統自動調用背景音樂加載算法，該算法可根據目前的文字內容，自動判斷出目前文字內容所表達的情緒及語態，從而選擇相應的背景音樂。例如，當所閱讀的書籍，當前所表達的文字內容是輕松愉快的狀態，系統就會自動加載休閑、輕松的音樂背景。如果當前所閱讀的文字描述的是緊張、懸疑的狀態，系統就會自動加載緊張、刺激的音樂背景。總之，系統會根據當前的文本內容，自動選擇與之相配套的音樂作為背景，從而進一步烘托出文字內容所體現的情景效果，優化讀者的閱讀感受。

3 結語

本文研究了一種新型的圖書館實時有聲閱讀系統，該系統可以提供任意紙質書籍的實時有聲閱讀服務，特別適合于視覺障礙、眼睛疲勞及放松休閑讀者的閱讀需求，在傳統的圖書館模式下開辟一項新的服務內容，更加豐富了圖書館作為學習園地、文明園地的內涵，更好地為讀者、為社會提供優質的服務。