基于DSP的電子行走輔助系統的設計與實現

彭玉青，李虹陽，田紅麗，李 木

（河北工業大學 計算機科學與軟件學院，天津300401）

0 引 言

數字圖像處理技術的發展為導盲研究提供了新的途徑，在嵌入式圖像處理領域，DSP處理器獨立的數據程序總線、多級流水線等特性，可靈活的實現各種復雜的算法，大大提高系統工作效率，使其成為實時圖像處理的最佳選擇［1］。

隨著電子行走輔助系統研究的發展，各種形式的導盲設備也應運而生，如超聲波電子導盲儀、GPS定位導盲拐杖、基于RFID 電子標簽的助盲輔具等等。目前電子行走輔助系統使用成本均相對較高，例如建立大型RFID 系統需鋪設大量電子標簽，工程量浩大［2，3］。目前各城市的盲道設施均已普及，文章以圖像處理為基礎，以城市中現有的盲道為主要處理對象，將處理結果以語音的形式對視障者進行提示，實現圖像的可聽化，不僅能加強視障者對周圍環境的理解，還可以大大降低使用成本。

1 系統的功能與框架

ETA 系統 （電子行走輔助系統）是利用傳感器獲取環境數據信息，提取環境特征信號轉換成易于視障者理解的非視覺信號，進而輔助視障者獨立而安全行走的系統［4］。本系統通過攝像頭實時的采集使用者行進前方的視頻圖像并進行存儲，之后送DSP處理器處理，進行路面情況的檢測。對檢測到的盲道、障礙物、人行橫道、上下樓臺階等等行進過程可能遇到的情況分類，把處理結果送音頻提示終端進行相應提示，提示使用者前方路面情況并根據需要調整行進方向和速度。如圖1所示，系統主要由圖像采集、數據存儲、圖像處理和音頻輸出4大部分構成。

圖1 系統主要功能模塊

2 系統硬件設計

2.1 圖像采集模塊

本系統的圖像采集模塊主要由圖像傳感器和視頻解碼器組成。圖像傳感器選取的是CCD 攝像頭，其功能為采集視頻信號并以PAL制式輸出，將該信息輸出給視頻解碼器進行數字化，以便于DSP處理器進行數字信號處理。數字化后的視頻信號經DSP的VP端口內部FIFO 隊列緩沖后，以EDMA 的方式傳至片外SDRAM 中存儲［5］。

其中視頻解碼器采用TI公司的TVP5150PBS，它是一款使用簡易、超低功耗、封裝極小的多制式數字視頻解碼器。可通過I2C總線控制它內部寄存器的參數，比如色調，對比度，亮度等［6］。

圖像信號采集過程：首先，對TVP5150進行初始化，這是通過I2C總線進行的。本系統中TVP5150的初始設定為：一路模擬視頻信號輸入、自動增益控制、PAL 制式、YUV422 （16bit）數字視頻信號輸出。其次，TVP5150芯片產生的數字視頻信號、控制信號和狀態信號送入DM642中，即把解碼器的行場同步信號、視頻信號等管腳連接到DSP的視頻端口VP［7，8］，從而建立數據通道，以便進行相應的數據傳輸。最后，通過DSP 處理器發出圖像采集命令后進行圖像采集。由CCD 攝像頭采集并輸出圖像模擬信號，經視頻解碼芯片，把模擬信號轉化成數字信號，存儲在SDRAM 中。

2.2 數據存儲模塊

2.2.1 DSP與SDRAM 的接口電路設計

經過圖像采集到的數據需要進行實時的存儲，由于DSP內部自帶的二級緩存對于實時圖像數據存儲來說是遠遠不夠的，所以實時圖像的存儲要通過外部SDRAM 來完成［9］。系統選用兩片型號為HY57V283220T 的SDRAM 存儲實時圖像數據，其容量為32M 的，存儲格式為4Banks×1 M×32Bit。

圖2所示為其中一片SDRAM 與DSP 的外部存儲器接口EMIF電路連接示意圖，SDRAM 的CLK 與DSP的二分頻時鐘輸出端TCLK 相連，以滿足HY57V283220T 時鐘100 MHz的要求。DSP的TED［0：31］和TBE［0：3］接到一片SDRAM 的DQ［0：31］和DQM［0：3］，TED［32：63］和TBE［4：7］接到另一片SDRAM 的DQ 和DQM，用于讀寫SDRAM 時控制和屏蔽數據的輸入輸出。

圖2 SDRAM 與DSP的EMIF電路連接

2.2.2 DSP與FLASH 的接口電路設計

本系統采用型號為AM29LV033C 的FLASH 芯片，容量為4 M×8bit，FLASH 主要用于存放用戶程序代碼，以及一些相關的數據，由于FLASH ROM 掉電不擦除，所以系統算法程序調試好之后，將程序燒寫固化到FLASH 中，硬件板即可脫離PC機在線調試模式，獨立的完成工作，系統上電后，用戶程序代碼自動從FLASH 搬移到SDRAM然后開始執行［10］。與SDRAM類似，FLASH芯片通過EMIF與DSP相連。

2.3 圖像處理模塊

本模塊主要是對數字化的圖像信號進行算法處理，經過圖像預處理，特定圖像算法處理，包括盲道識別，障礙物檢測，人行橫道檢測等算法，根據圖像處理結果進行圖像聲音映射，并發出相應的音頻提示信號。

本系統的主處理器采用TI公司的高性能DSP 芯片TMS320DM642，其內核有64個32位字長的通用寄存器和8個獨立的功能單元，每秒可提供2880百萬個MAC，片內采用2級高速緩存Cache結構，片外有強大的外部存儲器接口EMIF，64個獨立通道的增強型EDMA 控制器，提供了3個視頻端口，支持多種視頻標準，配置靈活［11］，片上資源豐富。

在本系統中，視頻解碼器通過3個可配置的視頻端口（VP0、VP1、VP2）接入DSP，由于系統采用一路視頻輸入，默認使用VP0端口采集圖像數據，DM642通過I2C 總線控制圖像采集過程，并設置視頻解芯片內部寄存器的相關參數；外部存儲器SDRAM 和FLASH 都通過EMIF （外部存儲器接口）與DM642 相連接，采用增強的EDMA 方式進行數據傳輸，從而建立起了高速數據傳輸通道；語音處理芯片通過McASP （多通道音頻串行接口）與DM642相連。DM642的McASP 接口主要用于音頻處理，提供了一個發射時鐘和一個接收時鐘，使得數據的發送與接收工作可以完全獨立的進行，也可以同步進行。

2.4 音頻模塊

系統音頻處理芯片采用的是TI公司的音頻編解碼器TLV320AIC23BPW，它內置耳機輸出放大器，輸入和輸出都具有可編程的增益調節功能，并且具有很低的功耗。這使得它成為一款非常理想的音頻處理芯片［12］。TLV320AIC23通過McASP接入DM642。

TLV320AIC23與DM642通過控制接口和數字音頻接口相連，控制接口用于設置AIC23的工作參數；數字音頻接口用于TLV320AIC23與DM642的音頻數據傳輸。

如圖3 所示為TLV320AIC23 與DM642 連接。其中BCLK 為串行數據傳輸時鐘，當TLV320AIC23BPW 為主模式時BCLK 由其自身產生并提供給DSP，頻率為主時鐘的1／4，當AIC23為從模式時由DSP產生；DIN 為串行數據輸入端，送入立體聲DAC，DOUT 為串行數據輸出端，由立體聲ADC 產生；XTI／MCLK 為外部時鐘輸入端，用來產生AIC23內部時鐘［13］。

圖3 TLV320AIC23與DM642連接

2.5 系統總體硬件結構

綜上所述，系統總體硬件結構及器件選擇如圖4所示。

圖4 系統總體硬件結構

系統主要是以DSP為核心，通過攝像頭實時采集圖像數據，經過視頻解碼器TVP5150PBS解碼，將解碼后的數字信號在外部SDRAM 中做實時的存儲，然后由DSP 數字信號處理器TMS320DM642對圖像數字信號進行處理，根據處理結果控制輸出的音頻提示信息，經過音頻處理芯片TLV320AIC23BPW，將相應的音頻提示信息由耳機輸出。其中FLASH 用于存儲用戶程序代碼，SDRAM 用于存儲實時圖像數據，另設有可擴展的以太網接口、異步通信串口、PCI接口供系統進行其它模塊的擴展。例如，可通過PCI接口擴展為雙核DSP系統，通過網口接入GPS等模塊，使系統具有較好的可擴展性。

3 系統軟件設計

在系統上電啟動后，DSP 程序加載與啟動。系統流程如圖5所示。

（1）進行DSP和系統板的初始化，包括初始化BIOS和初始化CSL庫。并且設置Cache，使用256K 的2級高速緩存。設置DMA 優先隊列的長度取最大值。設置2級高速緩存的優先級最高。

（2）進行通道模塊的初始化，包括I2C 總線的初始化和消息隊列的初始化。I2C總線用于內部單元通訊，SCOM消息隊列用于任務間傳遞消息。并且分別建立和啟動一個采集和播放通道［14］。

（3）進行視頻解碼器和音頻處理芯片的初始化。設置相關參數，打開視頻采集和音頻播放通道。

在完成初始化任務之后，BIOS調度程序啟動，系統進入DSP／BIOS調度程序管理下，此時系統中有3 個任務，任務通過消息隊列互相發送消息，3 個任務分別為輸入任務、處理任務和輸出任務，處理任務在收到輸入任務采集到圖像的消息后開始進行圖像處理，處理完成后，發送消息到輸出任務，輸出任務收到來自處理任務的消息將消息中的音頻輸出，然后發送消息到輸入任務，輸入任務收到輸出任務消息開始下一次圖像采集任務，如此往復循環進行。

圖5 系統軟件工作流程

4 實驗測試與分析

本文設計的硬件平臺能夠通過使用不同算法檢測盲道、障礙物、人行橫道、臺階、轉角等等路況，下面以盲道為例進行驗證。

4.1 圖像處理結果

由于系統輸出為音頻模式，無法對圖像處理結果進行直觀驗證，在研究設計過程中加入了視頻顯示部分，將圖像處理結果通過顯示屏進行輸出，以便直接觀察系統的流暢性和圖像處理效果。在系統運行過程中，圖像能夠實時的將攝像頭采集圖像的處理結果顯示到顯示屏上，且畫面清晰流暢。以下為盲道處理的部分實時實驗結果圖像。

圖6所示為實驗對比使用不同邊緣提取算子處理的盲道圖像，分別為采用Prewitt邊緣算子，Laplacian 邊緣算子，Sobel邊緣算子的結果，由實驗結果看出，Prewitt邊緣算子比較清晰的提取出了盲道內部的紋理信息，但丟失了左邊緣信息，不能夠獲取完全的盲道邊緣信息；Laplacian邊緣算子提取邊緣效果較模糊，能夠提取盲道內部紋理，左邊緣完全丟失；Sobel算子提取出的邊緣信息較為全面，但冗余信息較多。

圖6 不同邊緣提取算子結果對比

鑒于直接進行邊緣提取，圖像中冗余信息較多，所以先對圖像進行濾波處理，除去部分噪聲和次要信息，圖7所示為先采用高斯低通濾波器消除部分噪聲和冗余信息然后進行Sobel邊緣提取效果圖，截止頻率分別設置為60、50、40，由實驗結果可以看出，在截止頻率為50時，盲道大部分信息冗余可以被去除而不影響盲道邊緣的提取。

圖7 采用濾波器處理結果

對盲道做濾波處理，濾去部分冗余信息后，進行邊緣提取，結果如圖8所示，可以看出Prewitt算子提取的邊緣不連續，Laplacian邊緣算子提取的盲道邊緣非常模糊，sobel算子提取的邊緣效果較為清晰。

圖8 濾波后不同邊緣算子結果對比

實驗顯示系統首先經過高斯低通濾波處理，然后采用Sobel算子能夠比較清楚的提取出盲道邊緣。

圖9為系統進行閾值分割的處理效果圖，由結果看出，系統能夠正確的分割出盲道區域，進而可以得到盲道兩條邊緣直線，然后通過霍夫變換提取出盲道兩條邊緣線的角度θ1和θ2，即可確定使用者偏離盲道的程度，從而進行音頻提示［15］。

圖9 盲道閾值分割效果

4.2 聽覺映射方案

圖像聲音映射，主要是把從圖像處理中獲取的盲道的方向和障礙物信息，通過映射模型轉換成相應的音頻參數，再用這些音頻參數控制音頻的播放。

構成視障礙者在盲道行走障礙的環境信息主要可以分成兩種：

（1）道路方向。即偏離盲道行走程度，提取盲道的邊緣線來代表盲道方向，θ1和θ2分別表示盲道兩根邊緣線的角度。當若θ1和θ2異號，說明在盲道上，若θ1和θ2同為負，說明偏左；若θ1和θ2同為正，說明偏右。

（2）障礙物。即盲道附近的會影響盲人行走的物體，障礙物距離Ly。

本系統采用音頻的響度和間隔時間兩個參數來表示盲道偏離程度，偏離程度越大，響度越大，間隔時間越短，使用戶更容易辨別。用鑼聲來表示障礙物，笛聲和水聲分別表示偏左和偏右，聲音響度的大小和持續時間表示偏離盲道的程度。表1所示為環境信息的聲音映射方案。

表1 環境信息的聲音映射方案

5 結束語

本系統以DSP 為核心構建了一套能夠幫助盲人獨立行走的電子行走輔助系統，詳述了系統的硬件模塊設計和軟件工作流程，并以盲道處理為例分析了圖像處理結果并給出了聽覺映射方案。實驗結果表明，系統整體運行流暢，具有良好的實時性，且能夠正確分割出盲道區域，提取出盲道邊緣。

系統充分利用DSP強大的數據處理能力，通過攝像頭實時采集圖像數據，經DSP 芯片處理，以聲音的形式輸出，從而幫助視障者獨立行走，實現了不借助pc機任何資源即可完成對圖像的實時采集、轉換、存儲、處理以及音頻輸出等相關工作，大大降低了系統成本，提高了系統可靠性。系統的聽覺映射方案切實可行，配合傳統導盲杖使用具有較好使用效果。與傳統助盲設備相比提高了導盲精度，與大型電子盲道或全球定位系統相比又節省了成本，且設備精簡小巧，便于攜帶，具有較強的推廣和實用價值。

［1］ZHANG Shengyan，HE Yizheng，SUN Jun.A hardware design of video processing system based on processor TMS320DM642 ［J］.Avionics Technology，2009，40 （1）：39－42 （in Chinese）.［章圣焰，何儀征，孫軍.基于TMS320DM642的視頻處理模塊的硬件設計 ［J］.航空電子技術，2009，40（1）：39－42.］

［2］Shuang Z，Gang J，Yu－ping Q.DSP－based parallel processing model of image rotation ［J］.Procedia Engineering，2011，15：2222－2228.

［3］LIU Yanjun.Design and implementation of embedded DSP image processing system ［J］.Foreign Electronic Measurement Technology，2013，32 （9）：11－14 （in Chinese）. ［劉巖俊.嵌入式DSP圖像處理系統設計與實現 ［J］.國外電子測量技術，2013，32 （9）：11－14.］

［4］XU Yonghui，YANG Jingli，LIN Lianlei.TMS320DM642 DSP principle and application practice ［M］.1st ed.Beijing：Electronic Industry Press，2012：10－11 （in Chinese）. ［徐永輝，楊京禮，林連雷.TMS320DM642 DSP 原理與應用實踐［M］.1版.北京：電子工業出版社，2012：10－11.］

［5］Wasfy W，Zheng H.General structure design for fast image processing algorithms based upon FPGA DSP slice［J］.Physics Procedia，2012，33：690－697.

［6］JI Yatai.Research and design of the image acquisition and processing system based on DSP ［J］.Software，2013，34 （2）：22－25 （in Chinese）.［吉亞泰.基于DSP的圖像采集與處理系統的研究與設計 ［J］.軟件，2013，34 （2）：22－25.］

［7］LIU Yan.Design and implement of embedded real－time image processing system based on DSP ［J］.Journal of Dalian Nationalities University，2013，15 （1）：77－79 （in Chinese）. ［劉燕.基于DSP 嵌入式實時圖像處理系統的設計與實現 ［J］.大連民族學院學報，2013，15 （1）：77－79.］

［8］LV Qiang，LIU Zhijun，WANG Keke.Design of real－time image processing system based on TMS320DM642／Matlab［J］.Electronic Design Engineering，2009，17 （4）：26－28（in Chinese）.［呂強，劉志軍，王珂珂.基于TMS320DM642＿Matlab 的實時圖像處理系統設計 ［J］.電子設計工程，2009，17 （4）：26－28.］

［9］LONG Yingxue，ZHANG Chunxi，YI Xiaosu.Design and realization of video capture and compression system based on DM642 ［J］.Electronic Measurement Technology，2012，35（9）：52－55 （in Chinese）. ［龍映雪，張春熹，伊小素.基于DM642的視頻采集與處理系統設計及實現 ［J］.電子測量技術，2012，35 （9）：52－55.］

［10］GAO Xiong，WANG Min，ZONG Dawei.Design of video capture system based on TMS320DM642 ［J］.Journal of Huazhong University of Science and Technology，2011，39（S2）：144－146 （in Chinese）. ［高熊，王敏，宗大偉.基于TMS320DM642的視頻采集系統設計 ［J］.華中科技大學學報，2011，39 （S2）：144－146.］

［11］CHEN Bukang，WANG Yuanqin，ZHOU Chenggang.Airplane’s video image real－time compression system with TMS320DM642 ［J］.Foreign Electronic Measurement Technology，2011，30 （1）：61－63 （in Chinese）.［陳步康，王元欽，周成剛.基于TMS320DM642的機載視頻圖像實時壓縮與處理系統［J］.國外電子測量技術，2011，30 （1）：61－63.］

［12］DAI Quan，YANG Yingping，JIA Xinting.Design of realtime image acquisition and processing platform based on DSP and FPGA ［J］.Microcomputer and Its Applications，2013，32 （11）：45－46 （in Chinese）.［戴權，楊應平，賈信庭.基于DSP和FPGA 的實時圖像采集處理系統的設計 ［J］.微型機與應用，2013，32 （11）：45－46.］

［13］ZHAO Zebiao，CHANG Danhua.Gesture recognition for wearable motion sensors based on DSP ［J］.Computer Engineering and Design，2013，34 （4）：1250－1254（in Chinese）.［趙澤彪，常丹華.基于DSP的穿戴式動作傳感器的手勢識別［J］.計算機工程與設計，2013，34 （4）：1250－1254.］

［14］Chavarrias M，Pescador F，Garrido M J，et al.A DSP－Based HEVC decoder implementation using an actor language dataflow model［J］.IEEE Transactions on Consumer Electronics，2013，59 （4）：839－847.

［15］Jun－long F，Dong Z，Yi－bo Q.Back ground segmentation of cucumber target based on DSP ［J］.Journal of Northeast Agricultural University （The English Version），2013 （3）：78－82.