曾基業,肖德琴,林探宇(華南農業大學數學與信息學院,廣州510642)
?
農業圖像感興趣區域可調壓縮處理系統設計與實現
曾基業,肖德琴,林探宇
(華南農業大學數學與信息學院,廣州510642)
摘要:
關鍵詞:
感興趣壓縮;SVM;JPEG圖像壓縮;遠程傳輸
數字圖像處理技術在20世紀60年代初期作為一門新的學科逐步發展起來。數字圖像處理技術是計算機的一種相關技術,它是為了達到某種預想目的而對圖像進行運算和處理的一種過程。在發展圖像處理技術的早期,圖像處理的主要目的是在人的視覺效果和圖像質量上進行改善[1]。我國是一個農業大國,圖像處理在農產品檢測、農作物病蟲草害診斷識別、精準噴藥和果實采摘等方面都有著廣泛的應用,取得了豐碩的研究成果,對農業各領域的現代化進程起到了十分重要的促進作用。但是自然農作物的田間環境復雜,網絡傳輸能力有限,網絡傳輸速度難以滿足要求;為此,對高效率的農業圖像感興趣區域壓縮傳輸技術的要求大大提高。
在感興趣圖像壓縮上,一種靈活的方法便是在ROI采用高圖像質量的近無損壓縮,而在RONI采用高壓縮率的有損壓縮。例如,在無線醫療應用中,服務器端向客戶端傳輸圖像數據時,利用這種方法在有限的傳輸帶寬上提供更加靈活的圖像傳輸機制,有助于提升客戶端瀏覽醫學圖像的體驗,在無線醫療應用中具有很好的應用前景,其研究的難點在于ROI的分割[2-4]。而在農業圖像上,支持向量機SVM(Support Vector Machine)的學習模型能夠提供一種對ROI區域進行分割的算法,而對于傳統的分割算法而言,SVM的效果以及速率都大大提高。隨著機器學習領域的愈發成熟,支持向量機作為一種新的分類方法已經用于圖像分割,它能較好地利用彩色圖像的統計特征,且可避開求最佳門限值困難的問題[5]。對于田間色彩分明的農作物而言,SVM很好地解決了農業圖像的ROI分割問題。
結合SVM的ROI分割問題,為實現課題組前期農業現場圖像系統的高效傳輸的需求[6-7],同時又為滿足不同用戶對農業圖像清晰度、大小、質量等的要求,本文設計實現了可調壓縮比的農業圖像感興趣區域壓縮傳輸處理系統。下面將首先介紹系統的總體設計方案,然后介紹系統各模塊的詳細設計與實現,最后對系統性能進行了測試與分析。
系統使用Visual Studio 2010在Windows平臺下開發。使用普通的攝像頭作為圖像采集設備,利用C++封裝好協議的Socket編程進行圖像數據的傳輸。系統分為服務器端和客戶端,由客戶端向連接服務器發起請求從而建立單向連接。系統總體設計圖如圖1所示。

圖1 系統總體設計圖
系統分為服務器端和客戶端,啟動服務器和客戶端后,自動進行連接。服務器和客戶端選好相同的傳輸端口后(默認是4000端口),由客戶端手動輸入服務器的IP,根據輸入的IP匹配不同的服務器。在客戶端上,首先是目標的選取,選擇需要處理的圖像路徑,再選擇不同的算法處理圖像并預覽,最后將整個圖像通過網絡傳輸,發送到服務器上。服務器上有緩沖和存儲兩種模式,選擇緩沖模式時,能夠接收客戶端發送的圖像并進行預覽,但不會進行存儲;選擇存儲模式時,能夠接收客戶端發送的圖像并進行預覽,同時存儲在服務器硬盤上。
基于農業圖像感興趣區域壓縮處理系統分為四個主要模塊:圖像分割模塊、圖像壓縮模塊、網絡發送/接收模塊、圖像存儲模塊;接下來將會對每個模塊的具體設計與實現進行詳細的敘述。各主要模塊之間的結合關系如圖2所示。
2.1農業圖像感興趣分割模塊
在計算機視覺領域,圖像分割(Segmentation)是指把數字圖像分割為幾個圖像像素集。圖像分割的目的是簡化或更改圖像的表示方式,從而使得圖像更容易理解和分析[8]。圖像分割通常用于定位圖像中的S標對象和邊界、線、曲線等。更準確地說,圖像分割是將圖像的每個像素加上標簽的一個過程,這一過程使得具有相同的標簽的像素具備了一些共同的視覺特性。圖像分割是圖像中的子域設置成集合,然后利用這些集合來全面的覆蓋整個圖像[9]。子區域中每個像素在對應特性的度量或者計算下都具有相似特征,這個特征的表現形式很多,例如色彩、亮度、紋理等等,并且結果圖像中的相鄰地區的特性是非常不同的[10]。
系統分割模塊主要應用支持向量機(SVM)的方法,結合傳統的圖像處理中的一些特征表述方法,對農業圖像ROI進行分割識別。SVM算法的優點在于,在農業圖像上農作物的果實與其背景的顏色差值比較大,通過對色彩特征的提取,訓練出特定的農作物模型,從而達到想要的分割效果。

圖2 系統主要模塊圖
分割算法步驟如下:
(1)樣本采集:在圖像樣本中,分別選取目標部分圖像和背景部分圖像,選取的標準是:具有顏色、輪廓等差異的代表性的部分,得到目標部分及背景部分的特征圖像;
(2)模型生成:將(1)得到的兩種圖像進行像素點的均值變換,并加入用1和-1進行區分,以(1,B,G,R)的向量形式代表目標,(-1,B,G,R)的向量形式代表背景,最后得到一個包含這兩種類型的大數據模型;
(3)模型優化:將(2)得到的模型進行SVM分類器的訓練,得到線性核函數K(x,y)=x·y優化后的最優模型;
(4)分割圖像:將需要分割的目標圖像與(3)得到的最優模型進行比較,圖像與模型比較通過SVM_CUT()函數實現,最終得到目標部分的圖像,即ROI圖像。
分割后的區域效果,主要是取決于步驟(1)中兩類圖像的采集;而分割速率也取決與步驟(1),不同的是,速率與兩類圖像的數量成正比。綜上所述,SVM算法的優點就是分割效果好,但分割效果由樣本采集是否具有代表性來決定,具有一定的主觀因素。
2.2可調圖像壓縮模塊
JPEG提出的JPEG標準是為連續色調圖像的壓縮提供的公共標準。連續色調圖像并不局限于單色調(黑白)圖像,該標準可適用于各種多媒體存儲和通信應用所使用的灰度圖像、攝影圖像及靜止視頻壓縮文件[11]。圖像壓縮編碼方法從壓縮編碼算法原理上可以分為無損壓縮編碼、有損壓縮編碼、混合編碼方法。而本文中,對背景部分(RONI)采取高壓縮比的有損壓縮DCT變換編碼,同時為了保存前景部分(ROI)的信息完整,對該區域進行可調壓縮比的DCT變換編碼壓縮。DCT變換常常被認為是圖像/視頻變換編碼的最佳變換之一。DCT變換是一種空間變換,它的最大特點是對于一般的圖像都能夠將像素塊的能量集中于少數低頻DCT系數上,這樣就可能只編碼和傳輸少數系數而不嚴重影響圖像質量[12]。
基于DCT的JPEG壓縮主要分為以下幾個步驟:
(1)顏色轉換:為了減少色度通道包含大量的冗余信息,需要對背景區域圖像進行色彩空間變換,從RGB 到YCbCr的色彩空間變換:
Y=0.29000R+0.587000G+0.114000B
Cb=-0.165736R-0.331264G+0.500002B
Cr=0.50000R-0.418688G-0.081312B
其中,Y表示亮度分量,Cb和Cr表示藍紅色度分量。
(2)DCT變換:DCT(Discrete Cosine Transform)是將圖像信號在頻率域上進行變換,分離出高頻和低頻信息的處理過程。然后再對圖像的高頻部分(即圖像細節)進行壓縮,以達到壓縮圖像數據的目的。首先將圖像劃分為多個8×8的矩陣。然后對每一個矩陣作DCT變換。變換后得到一個頻率系數矩陣,其中的頻率系數都是浮點數。
(3)量化:JPEG是一種利用了量化的圖像有損壓縮。JPEG的編碼過程對原始的圖像數據作離散余弦變換,然后對離散結果進行量化并作熵編碼[13]。由于在后面編碼過程中使用的碼本都是整數,因此需要對變換后的頻率系數進行量化,將之轉換為整數。由于進行數據量化后,矩陣中的數據都是近似值,和原始圖像數據之間有了差異,這一差異是造成圖像壓縮后失真的主要原因。
(4)熵編碼:JPEG標準規定了兩種熵編碼方式,Huffman編碼方式和算術編碼方式。我們采用平均壓縮比最高的哈夫曼編碼,對出現概率大的字符分配字符長度較短的二進制編碼,對出現概率小的字符分配字符長度較長的二進制編碼,從而使得字符的平均編碼長度最短,得到較好的壓縮效果。Huffman編碼的原理請參考數據結構中的Huffman樹或者最優二叉樹。
在整個JPEG壓縮的流程中,需要對其內部函數進行修改,例如:對量值quality進行優化,滿足不同用戶需求進行可調壓縮比的壓縮算法等。
2.3網絡發送/接收模塊
在本系統中的網絡傳輸部分分為網絡發送模塊和網絡接收模塊。網絡發送模塊負責將客戶端處理后的圖像轉換成字節流的形式,利用封裝好TCP/IP協議的網絡Socket編程進行局域網的傳送。網絡接收模塊負責接收從網絡中發送過來的數據包,并調用相關函數,將接收到的數據送到圖像數據緩沖區,進行解碼后在客戶端的圖像顯示模塊界面進行接收預覽,最后根據用戶的選擇來決定是否將該區域的圖像存儲在服務器的硬件上。網絡發送接收模塊的原理如圖3所示。
整個傳輸的具體過程如下:
程序初始化,開啟服務器,服務器端進入監聽狀態,等待連接。客戶端開啟,通過輸入的IP地址和端口號來建立連接。客戶端和服務器匹配成功建立連接后,客戶端數據包Socket通過輸入的IP地址和端口號進行圖像數據的傳輸。由于發送的是圖像數據,需要通過流的轉換,將圖像數據轉換成數據流的形式進行傳輸。服務器等待接收網絡中傳輸過來的數據并進行預覽和存儲等操作。直接關閉客戶端或者服務器進行連接的斷開。服務器接收到數據流后,在服務器端將數據流轉換成圖像數據進行顯示或者存儲。至此,整個會話流程結束。

圖3 網絡發送接收模塊
2.4圖像存儲模塊
跟大多數傳輸接收系統一樣,存儲模塊作為必不可少的環節,該系統軟件也是需要這個功能的。基于MFC編寫的系統好處之一就是,可以直接利用MFC中的file.Write()函數,將接收到的圖像進行存儲。在網絡傳輸系統中,將處理好的農業圖像進行字節流的轉換,得到轉換后的字節流數據后再進行網絡傳輸。服務器接收到客戶端傳輸的字節流數據,通過write()函數,將字節流的buffer數據進行轉換,得到最終的JPEG格式的圖像。根據strFilePath變量中保存存儲路徑的字符串數據,將JPEG格式的圖像存儲在服務器相應的路徑下。
2.5農業圖像感興趣區域壓縮處理系統的實現
基于前面四個模塊的設計與實現,最終通過Microsoft Visual Studio 2010編程軟件,利用C++中的MFC模型,對系統的服務器端和客戶端進行設計與編寫,將所有功能通過用戶交互界面進行展示。最終設計出如下界面。
將2.1-2.4設計的所有模塊嵌入到該軟件系統中。如圖4所示,SVM+JPEG選項是該系統的最終目標功能,實現了農業圖像的感興趣區域分割可調壓縮處理功能。并且,提供了JPEG壓縮、SVM分割供用戶查看階段性的壓縮和分割效果;同時,提供傳統的grabCut算法選項,與SVM算法進行對比。

圖4 軟件客戶端

圖5 軟件服務器
GrabCut算法是依據"GrabCut"-Interactive Foreground Extraction using Iterated Graph Cuts這篇文章來實現的。該算法利用了圖像中的紋理(顏色)信息和邊界(反差)信息,只要少量的用戶交互操作即可得到比較好的分割結果。其函數單獨運行時間大約20秒。
3.1實驗測試與數據記錄
為了驗證本系統算法的實用性和高效性,以農業圖像中的番茄為樣本,對其壓縮、分割以及兩種算法結合的實驗數據進行分析。番茄原圖如圖6所示,其大小為112KB。對圖6進行SVM算法的分割,效果如圖7和圖8所示,RONI大小為96KB,ROI大小為72KB。對圖7即RONI進行高壓縮比JPEG的有損壓縮,效果如圖9所示,其大小為16KB。對ROI進行低壓縮比的近無損壓縮處理,保留了ROI區域信息的完整性,效果如圖10所示,大小為24KB。最后,將壓縮后的背景和前景進行結合并再次進行低壓縮比壓縮,得到最終完整的圖像,如圖11所示,大小為24KB。
為了體現本系統SVM核心算法的主要優點,與grabCut分割算法進行了比較。壓縮算法均采用JPEG,然后將所有流程一次性完成,最終得到SVM_JPEG和grabCut_JPEG所需要的時間。圖12為SVM_JPEG算法流程所需時間,1961ms;經過大量測試,平均運行時間大概為2000ms,即2s。圖13為grabCut_JPEG算法流程所需時間,26749ms;經過大量測試,平均運行時間大概為26000,即26s,即融入系統中還比單獨運行多了6秒之多。同時,切割效果也有明顯的差別,用grabCut分割算法切割后,效果如圖14所示。與圖8完美的分割效果相比,效果差強人意。為了體現JPEG對ROI進行可調壓縮比算法的優勢,與固定壓縮比的JPEG壓縮算法比較。采用固定壓縮比的JPEG算法如圖15所示,大小為92KB。采用高低壓縮比相結合的可調壓縮比JPEG算法如上述圖11所示,大小為24KB。相比之下,可調壓縮比JPEG算法壓縮目標圖像之后的圖像大小所占容量更小,也足以說明該壓縮算法的優勢之一。

圖6 未經過處理的原圖

圖7 SVM分割背景算法(RONI)

圖8 SVM分割前景算法(ROI)

圖9 JPEG壓縮背景算法

圖10 JPEG壓縮前景算法

圖11 SVM_JPEG算法結果
3.2數據比較與結果分析
(1)圖7 RONI圖像大小92KB壓縮到圖9的16KB,壓縮比為5.75:1,其高壓縮比的JPEG算法能夠滿足高壓縮比的要求了;實現起來也比其他壓縮算法相對快速簡單,因此對RONI使用高壓縮比JPEG算法是相對較佳的做法;

圖12 SVM_JPEG算法運行時間

圖13 grabCut_JPEG算法運行時間
(2)圖8 ROI圖像大小72KB壓縮到圖10的20KB,壓縮比為3.6:1,對比圖8和圖10,ROI采用可調壓縮比的近無損壓縮保留了感興趣區域圖像數據的完整性,同時也保留了該區域的清晰度;
(3)對比圖11和圖15的實驗結果可知,與固定壓縮比的JPEG算法比較,可調壓縮比的壓縮算法在保留感興趣區域信息完整的同時,其圖像大小也降低了近5倍;
(4)對比圖12和圖13的實驗結果可知,與現有的grabCut分割算法比較,SVM機器學習算法展示了它的優勢。從大量的測試結果看,grabCut平均用26秒處理的圖像,SVM平均只用了2秒而已,可見SVM算法具有較快的運行效率;
(5)對比圖8和圖14的實驗結果可知,SVM算法能夠完美地切割出感興趣區域,而grabCut算法尚存在一定的瑕疵;
(6)原圖圖6進行SVM分割JPEG壓縮處理后,從112KB變成圖11的24KB。壓縮比為4.7:1,從總體上看,實現了保留原圖像感興趣區域信息完成的同時,將圖像大小壓縮到了原來的1/5。在田間作業傳輸量以及傳輸速率有限的情況下,能夠有效地減少傳輸量以及提高傳輸速率。

圖14 grabCut分割算法

圖15 固定壓縮比JPEG算法
本文對SVM算法進行了研究并實現,達到了比較完美的感興趣區域(ROI)識別與分割效果。對JPEG壓縮算法進行研究并實現,達到了對農業圖像背景區域(RONI)的有損壓縮功能,并取得了3.6:1-5.75:1之間的可調壓縮比。整個流程在實現完美分割效果的同時,既克服了網絡帶寬的瓶頸,節省網絡資源,還降低了壓縮傳輸成本,減少節點耗能。實驗結果表明,本文設計的系統所使用的SVM_JPEG算法,平均能夠在2秒內實現所有處理,提高了傳輸過程中的傳輸速率。同時,該系統用C++語言進行編寫,對下一步課題組后期農業現場圖像系統移植到嵌入式系統上提供了很大方便。因此,本方案在低成本農業圖像采集傳輸方面具有較好的實用價值。
參考文獻:
[1]劉直芳,王運瓊,朱敏.數字圖像處理與分析[M].北京:清華大學出版社,2006.
[2]BRINDHA B,RAGHURAMAN G.Region Based Lossless Compression for Digital Images in Telemedicine Application[C].IIEEE.Communications and Signal Processing(ICCSP),2013 International Conference on Communicationand Signal Processing,April 3-5,2013.Melmaruvathur,India:IEEE Press,2013:537-540.
[3]SHAN Y,TSAI K,WU J.A New Seeded Region Growing Algorithm for Large Object Segmentation[C].IEEE.Biomedical Engineering and Informatics(BMEI),2011 4th International Conference on Biomedical Engineering and Informatics.Shanghai,China:IEEE Press,2011:47-51.
[4]魏津瑜,施鶴南,蘇思沁.基于改進算法的自動種子區域生長圖像分割[J].中南大學學報:自然科學版,2013,44(z2):308-312.
[5]薛志東,隋衛平,李利軍.一種SVM與區域生長相結合的圖像分割方法[J].計算機應用,2007,02:463-465.
[6]Xiao Deqin,Huang Shunbin,Yin Jianjun,Feng Jianzhao,High Resolution Vision Sensor Transmission Control Scheme Based on 3G and Wi-Fi,Transactions of the Chinese Society of Agricultural Engineering,2015(4):167-172.
[7]肖德琴,黃順彬,殷建軍.一種嵌入式應用高分辨率農業圖像采集節點設計.農業機械學報,2014.02:276-281.
[8]Shinn-Ying Ho,Kual-Zheng Lee.Design and-Analysis of an Efficient Evolutionary Image Segmentation Algorithm[J].The Journal of VLSI Signal Processing,2003,35(1):29-42.
[9]徐國雄,王海娜,胡進賢.一種基于混合方法的彩色圖像分割算法——結合分水嶺算法、種子區域生長和區域合并的混合方法[J].計算機科學與應用,2013,03(02):134-138.
[10]BJ.Devereux,G.S.Amable,C.Costa Posada.An Efficient Image Segmentation Algorithm for Landscape Analysis[J].International Journal of Applied Earth Observations and Geoinformation,2004,6(1):47-61.
[11]羅倩玲.JPEG編碼技術與矢量量化編碼方法比較[J].電子測量技術,2005(4):35-37.
[12]張巧芳,李光耀,丁美林,等.基于單幅圖像的三維瀏覽圖生成算法[J].計算機技術與發展,2010,20(1):22-24.
[13]趙珊,趙倩.基于DCT系數的JPEG圖像檢索算法[J].計算機工程,2010,36(19):190-192.
林探宇(1994-),男,廣東梅州人,本科,研究方向為網絡工程
With the rapid development of science and technology,image processing technology becomes increasingly more mature.Currently,there are lots of researches on the compression of medical images and remote sensing image based on region of interest,but similar researches on agriculture image segmentation and compression are relatively few.Presents a system on scalable compressing region of interest of agricultural images.Segments the agriculture images into region of interest(ROI)and non-ROI(RONI),uses the support vector machine SVM model;then,applies JPEG image compression algorithm on the ROI with a scalable compression ratio and RONI with a high scalable compression ratio,and combines these two regions into an integral agricultural image;transmits the agricultural image with a C/S model,realizes the remote transmission of images.In our experiments,realizes the compression of ROI with a scalable compression ratio ranging from 4.7:1 to 5.75:1,and this technology allows the whole process to be finished within 2 seconds,which improves the transmission rate and thus has a broad application prospect.
Keywords:
the Compression of Region of Interest;SVM;JPEG Image Compression Algorithm;the Remote Transmission
Design and Implementation of a Software System on Compressing Region of
Interest of Agricultural Images
ZENG Ji-ye,XIAO De-qin,LIN Tan-yu
(College of Mathematics and Informatics,South China Agricultural University,Guangzhou 510642)
Abstract:
隨著科技水平的快速發展,圖像處理技術也愈加成熟。目前,在基于感興趣區域的圖像壓縮對醫學圖像、遙感圖像方面進行較多的研究,但是在農業圖像方面的感興趣分割以及壓縮算法研究較少。設計一個壓縮比可調的農業圖像感興趣區域壓縮處理系統,首先采用支持向量機SVM的模型,對農業圖像進行感興趣區域(ROI)與非感興趣區域(RONI)的分割處理;再對感興趣區域采用可調壓縮比的JPEG圖像壓縮算法進行壓縮處理,對非感興趣區域采用高壓縮比的JPEG圖像壓縮算法進行壓縮處理,然后將兩個區域進行結合,形成完整的農業圖像。最后,將處理后的農業圖像進行客戶端/服務器模式(C/S模式)傳輸,實現遠程傳輸圖像的功能。實驗展示,實現4.7:1至5.75:1之間的感興趣區域(ROI)可調壓縮比功能,并能在2秒內實現所有處理,提高傳輸過程中的傳輸速率,具有一定應用前景。
基金項目:
國家級大學生創新項目(No.201410564287)、國家級星火計劃項目(No.2013GA780002、No.2015GA780002)
文章編號:1007-1423(2016)15-0044-07
DOI:10.3969/j.issn.1007-1423.2016.15.012
作者簡介:
曾基業(1992-),男,廣東惠州人,本科,研究方向為網絡工程
通訊作者:肖德琴(1970-),女,重慶人,博士,教授,研究方向為計算機網絡、無線傳感器網絡、網絡安全
收稿日期:2016-01-19修稿日期:2016-05-15