基于圖像分割的局部色盲矯正方法①

何志良, 詹佩真, 李嘉櫻, 蔡家榮, 曾曉銘, 張昕

?

基于圖像分割的局部色盲矯正方法①

何志良, 詹佩真, 李嘉櫻, 蔡家榮, 曾曉銘, 張昕

(華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院, 廣州 510642)

為提高紅綠色盲患者對色彩的分辨能力, 提出一種基于圖像分割的局部色盲矯正方法. 首先研究了色盲圖像的仿真方法, 然后結(jié)合K-means和系統(tǒng)聚類算法對原圖像進行分割, 并計算各個區(qū)域在色盲圖像下LAB顏色空間中的歐氏距離作為顏色相似性的度量, 確定紅綠色盲難以分辨的顏色區(qū)域, 最后將該區(qū)域替換成亮度一致且顏色區(qū)分度大的顏色, 從而實現(xiàn)色盲圖像矯正的目的. 基于Matlab平臺對算法進行驗證, 結(jié)果表明: 該方法能夠改善紅綠色盲患者對顏色的分辨能力, 同時在減少對顏色的認知偏差方面優(yōu)于已有的方法.

色盲仿真; 局部矯正; K-means聚類; 顏色相似性; 亮度因子

1　概述

色盲是由于人體視網(wǎng)膜錐細胞的缺失或者變異, 造成人類顏色辨認障礙的視覺缺陷. 色盲按照臨床表現(xiàn)可分為全色盲和二色盲(紅色盲、綠色盲、藍色盲等), 而二色盲又在色盲中占絕大部分比例. 研究表明, 僅紅綠色盲在亞洲人的發(fā)病率就達到5%[1], 截至2015年末我國大陸人口為13.75億[2], 現(xiàn)有色盲人數(shù)就已經(jīng)達到六千萬. 生活中, 設(shè)計人員在設(shè)計產(chǎn)品的時候, 難以獲取色盲人群的視覺體驗, 造成了產(chǎn)品在色盲人群中不友善的用戶體驗, 使得色盲人群不能有效的工作和學(xué)習(xí).

使用圖像處理方法進行色盲矯正, 從操作的可行性, 對人體的無害性、安全性上看, 具有很高的價值. 目前, 在色盲圖像仿真上, 研究者主要根據(jù)色盲患者視覺的三通道建立了圖像的色盲模型[3-5]. 而在色盲矯正方面, Si Di等[6]基于多濾光片的顏色濾波器對不同波段的可見光進行捕獲, 從而設(shè)計出一款特殊的光學(xué)透鏡對色盲患者的視覺認知進行矯正. Noriaki Suetake[7]等基于C-O效應(yīng)對圖像的亮度進行修正, 從而通過突出圖像的對比度來達到色盲矯正的效果. 但該方法對亮度的修正參數(shù)需人為確定. Karl Rasche[3]通過對原始圖像和矯正圖像建立目標函數(shù)并求極小值, 對圖像進行矯正. 但是極小值不只一個, 當(dāng)圖像顏色較多時, 運算時間將大大增加. Enrico等[4]根據(jù)不同的色盲特性設(shè)計出四種不同的色度變換模型并植入到可穿戴式設(shè)備中, 模型根據(jù)不同場景對圖像的色度進行變換來提高色盲者的辨色能力. 鮑吉斌等[8]在HSI顏色空間對H分量進行旋轉(zhuǎn)實現(xiàn)了色盲圖像矯正, 該方法在提高紅色與綠色的分辨度的同時卻降低其它顏色的辨識度. 該課題組還提出了SOM神經(jīng)網(wǎng)絡(luò)算法[9]和幾何變換映射[10]進行圖像矯正. 以上方法均對圖像進行了全局矯正, 整幅圖像的顏色發(fā)生了變化. 這種矯正后的圖像顏色與色盲患者原先的顏色認知產(chǎn)生較大的沖突, 不利于色盲患者適應(yīng). 因此, 本文提出了一種局部矯正方法, 即保留圖像中的大部分信息, 僅對辨識度較低的區(qū)域進行矯正.

本文從數(shù)字圖像處理角度對紅綠色盲(以下研究方法針對紅綠色盲)與非色盲人群的顏色辨識能力進行研究分析, 首先通過建立色盲空間轉(zhuǎn)換矩陣進行二色盲視覺的仿真. 其次, 為了實現(xiàn)圖像的局部矯正, 本文使用了結(jié)合改進的K-means方法和系統(tǒng)聚類方法進行圖像分割, 這種方法保證了每個分割區(qū)域在正常辨色視覺中差異足夠大. 然后使用色盲轉(zhuǎn)換矩陣對圖像進行轉(zhuǎn)換, 判斷每個分割區(qū)域在色盲視覺中顏色特征的相似性, 區(qū)域間的相似性越大, 說明其越難區(qū)分. 最后, 通過結(jié)合區(qū)域面積和亮度因子兩個因素, 對圖像中難以區(qū)分的區(qū)域?qū)崿F(xiàn)局部矯正. 實驗結(jié)果表明, 此種方式實現(xiàn)的色盲矯正能夠達到好的效果并具有實用性.

2　實現(xiàn)方法

2.1 色盲仿真模型

正常人的視網(wǎng)膜上有三種視錐細胞, 分別為L、M、S錐細胞, 它們構(gòu)成人眼的LMS空間. 視覺系統(tǒng)將人眼吸收到的RGB像素值通過轉(zhuǎn)換變成視錐細胞的吸收信號. 這個從RGB空間轉(zhuǎn)換到LMS空間的過程, 通過變換矩陣U實現(xiàn), 轉(zhuǎn)換過程如下:

色盲或者色弱是因為三種視錐細胞吸收特性的變異引起的.

對于紅色盲, 當(dāng)RGB空間轉(zhuǎn)換成LMS空間時, 相當(dāng)于RGB立方體空間的顏色沿L軸方向映射到R=G的顏色面上.

映射表達式如下, 其中T為色盲的投影變換矩陣.

由于色盲視覺沿著L軸方向的顏色都被投射到一點上, 紅色與綠色在這個方向上, 所以紅色和綠色不能被區(qū)分. 同樣道理, 沿著M軸投影到R=G面和沿著S軸投射到B=G分別是綠色盲和藍色盲的顏色面.

LMS是人眼內(nèi)部的感知空間, 不便于直觀的觀察, 所以再將其換回RGB空間, 得到如下式子的紅綠色仿真模型.

通過上式計算得到, 紅色色盲簡化模型:

綠色色盲簡化模型:

為了使正常色覺人群獲得色盲患者的視覺體驗, 可以通過圖1的步驟實現(xiàn).

圖1 色盲仿真流程圖

2.2 色盲圖像矯正

2.2.1基于加權(quán)K-means與系統(tǒng)聚類結(jié)合的圖像分割

要實現(xiàn)色盲空間圖像的局部矯正, 可以先對色盲圖像進行聚類, 然后對圖像的每一個區(qū)域進行分析, 繼而找出需要矯正的區(qū)域. 由于不確定圖片最終的分類數(shù)目, 本文首先使用一種改進K-means算法將圖像分成足夠多類, 然后用系統(tǒng)聚類算法, 逐步合并K-means得到的個聚類中心.

1) K-均值聚類算法(K-means). 傳統(tǒng)的K-means[11,12]會計算所有樣本點到聚類中心的距離. 由于數(shù)字圖像的特性, 在圖像處理問題中, 樣本集往往存在大量相同的數(shù)據(jù). 當(dāng)計算了一個樣本與聚類中心距離的時候, 沒有必要對相同的樣本點重復(fù)計算, 只要乘上該樣本對應(yīng)的權(quán)重即可. 因此, 本文提出了一種基于加權(quán)和的K-means聚類算法. 算法過程如下:

該算法的目標誤差函數(shù)即可表示為式(1):

然后根據(jù)傳統(tǒng)的K-means算法的過程進行迭代, 并在更新聚類中心時, 用式(2)進行代替.

為了降低光照影響同時保留顏色特征, 本文使用Lab顏色空間的分量和分量作為圖像分割的特征. 即樣本x={a,b}, 其中a,b表示像素分量和分量的值. 表1是使用傳統(tǒng)K-means算法和加權(quán)和K-means算法對不同大小圖組處理的平均時間, 其中每個圖組包含10張大小相同的圖像.

表1 不同K-means處理時間對比

實驗表明, 加權(quán)和K-means聚類算法, 在圖像分割的處理效率上, 比傳統(tǒng)K-means明顯更快.

2) 系統(tǒng)聚類算法(Hierarchical Cluster). 系統(tǒng)聚類算法[13]首先把所有樣本單獨看作一類, 然后根據(jù)度量距離對樣本逐步合并從而達到聚類的效果. 本文通過改進該方法對K-means的聚類結(jié)果進行合并.

具體實現(xiàn)步驟介紹如下:

Step1: 給定收斂閾值<0, 輸入K-means得到的個聚類中心作為系統(tǒng)聚類的初始重心;

Step2: 計算不同重心兩兩之間的歐氏距離, 找出最小的距離. 若<, 轉(zhuǎn)向Step3, 否則, 算法停止.

Step3: 找出最小值對應(yīng)的兩個類別G和G合并為新類, 并根據(jù)公式(3)計算新的重心.

3) 圖像分割效果圖. 以自然圖進行圖像分割實驗, 分別得到圖3、圖4所示K-means和系統(tǒng)聚類后的結(jié)果. 自然原圖如圖2所示.

圖2 自然圖像原圖

圖3 K-means聚類的分割效果

圖4所示為K-means聚類后圖像分割結(jié)果, 由于聚類數(shù)目較大, 部分顏色相似的目標, 比如綠色的草地和山丘, 被分到了不同類別. 圖5所示, 系統(tǒng)聚類將相似的區(qū)域進行合并, 確保了各個分割區(qū)域的差異足夠大.

圖4 系統(tǒng)聚類后的分割效果

2.2.2矯正圖像的顏色替換

1) 相似性判斷. 圖像聚類之后被分成若干區(qū)域. 通過判斷區(qū)域間的顏色相似性, 可以找出色盲人群難以辨別的顏色區(qū)域.

Lab顏色空間是一種基于生理特征的均勻的顏色系統(tǒng). Lab色彩模式色域?qū)掗? 人類肉眼所能感知到的色彩都能通過Lab模型表現(xiàn)出來, 這使得Lab顏色空間更加適合人類視覺系統(tǒng)的顏色相似性[14-16]度量.

以每個分割區(qū)域的顏色聚類中心代表該區(qū)域的顏色, 通過兩兩計算區(qū)域間的顏色相似性, 得到一個相似性度量矩陣. 矩陣元素(,)表示區(qū)域和區(qū)域在LAB顏色空間的歐氏距離, 即:

(,)值越小表明兩種顏色相似性越高, 即越難區(qū)分. 最后, 給定閾值, 當(dāng)(,)<時, 以區(qū)域包含的像素點代表區(qū)域的面積, 通過比較兩個區(qū)域包含的像素點數(shù)目, 確定出包含像素點少的區(qū)域即為需要替換顏色的區(qū)域.

2) 多因子選擇的顏色替換. 假設(shè)矯正區(qū)域原來的顏色為A, 用于替換的顏色為B, 為了有效地替換[17]和得到對色盲者更友好的顏色, B顏色滿足以下條件:

第一, B顏色必須與圖像中其他區(qū)域的顏色不相似. 即B顏色與其他區(qū)域顏色的距離d都必須大于閾值. 這樣可以保證色盲人群能夠區(qū)分出該區(qū)域.

第二, B顏色與原A顏色的亮度一致. 本文使用YUV顏色空間的Y分量判斷顏色亮度, 將Y分量劃分為多個亮度等級, 選用與A亮度等級一致的B顏色進行替換.

3　系統(tǒng)實現(xiàn)與測試

本文基于Matlab平臺, 開發(fā)色盲矯正系統(tǒng), 色盲矯正實現(xiàn)的過程如圖5.

圖5 矯正算法流程圖

針對紅色盲、綠色盲這兩種二色盲情況, 選用了10張紅綠色盲測試圖、10張紅綠為主色調(diào)的自然圖像, 分別對色盲測試圖以及自然圖像進行了色盲仿真和矯正測試, 并把測試結(jié)果與基于H分量旋轉(zhuǎn)120度以及基于圖像幾何變換映射的矯正方法[8,10]得到的圖像進行對比.

(a) 原始圖像 (b) 色盲仿真圖像

(c)局部色盲矯正圖(d)旋轉(zhuǎn)H分量色盲(e)幾何映射矯正圖

圖6 測試結(jié)果圖一

圖7 測試結(jié)果圖二

圖6(a)、圖7(a)為色盲測試原始圖像. 圖6(b)、圖7(b)為紅二色盲的仿真圖像, 可以看到紅二色盲對圖6中的數(shù)字“6”識別度較低, 完全無法辨別圖7中的紅花. 圖6(c)、圖7(c)是在本文方法得到的色盲矯正圖像, 可以看出色盲患者能夠準確識別矯正后圖像中的數(shù)字“6”, 準確識別了自然圖像中的紅花, 矯正后的圖像保留了大部分的原圖像信息. 圖6(d)、圖7(d)為采用旋轉(zhuǎn)H分量法得到的色盲矯正圖像, 圖6(e)、圖7(e)為采用圖像幾何映射得到的色盲矯正圖, 兩者雖然達到讓色盲患者辨別圖像基本信息的目的, 但是都是在一定程度上改變了整體圖像的顏色, 不利于色盲患者對真實顏色的認知.

4　結(jié)語

本文提出了一種基于圖像分割和多因子選擇顏色替換的色盲局部矯正方法, 首先將原圖分割成多個區(qū)域, 然后對每個區(qū)域進行比較, 從而實現(xiàn)了色盲圖像的局部矯正. 實驗表明, 該方法對圖像的顏色信息改變較少, 在保留了圖像大部分信息的情況下針對性地實現(xiàn)了圖像矯正的目的, 有效地降低色盲人群對于真實顏色的認知偏差.

然而, 由于該方法的實現(xiàn)使用了K-means算法對圖像進行分割, 當(dāng)圖像較大時, 算法的速度較慢. 因此, 接下來的主要工作是選取更快的圖像分割方法進行研究.

1 Birch J. Worldwide prevalence of red-green color deficiency. Journal of the Optical Society of America, 2012, 29(3): 313–320.

2 國家統(tǒng)計局.2015年國民經(jīng)濟和社會發(fā)展統(tǒng)計公報. 2016-02-29.

3 Rasche K. Detail preserving reproduction of color images for monochromats and dichromats. IEEE Computer Graphics and Applications, 2005, 25(3): 22–30.

4 Tanuwidjaja E, Huynh D, Koaet K, Nguyen C, Shao C, Torbett P. Chroma: A wearable augmented-reality solution for color blindness. 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing. UbiComp’14. New York. ACM. 2014. 799–810.

5 Brettel H, Vienot F, Mollon JD. Computerized simulation of color appearance for dichromats. JOSA A, 1997, 14(10): 2647–2655.

6 Di S, Jin J, Tang G, Chen X, Du R. The fabrication of a multi-spectral lens array and its application in assisting color blindness. International Journal of Optomechatronics, 2016, 10(1): 14–23.

7 Suetake N, Tanaka G, Hashii H, Uchino E. Simple lightness modification for color vision impaired based on Craik-O’Brien effect. Journal of the Franklin Institute, 2012, 349(6): 2093–2017.

8 鮑吉斌,汪源源,馬煜,顧曉東.基于H分量旋轉(zhuǎn)的色盲矯正方法.生物醫(yī)學(xué)工程學(xué)進展,2008,29(3):125–130.

9 Ma Y, Gu X, Wang Y. Color discrimination enhancement for dichromats using self-organizing color transformation. Information Sciences, 2009, 179(6): 830–843.

10 王恩,馬煜,汪源源.基于圖像幾何變換映射的色盲矯正方法.生物醫(yī)學(xué)工程學(xué)進展,2011,32(2):63–67.

11 毛韶陽,林肯立.優(yōu)化K-means初始聚類中心研究.計算機工程與應(yīng)用,2007,43(22):179–181.

12 張靖,段富.優(yōu)化初始聚類中心的改進K-means算法.計算機工程與設(shè)計,2013,34(5):1691–1694.

13 Martiana E, Rosyid N, Asgusetia U. Document search enginee based on automatic clustering. Telkmnika, 2010, 8(1): 41–48.

14 楊振亞,王勇,楊振東,王成道.RGB顏色空間的矢量-角度距離色差公式.計算機工程與應(yīng)用,2010,46(6):154–156.

15 盾紹坤,魏海平,孫明柱.RGB顏色空間新的色差公式.科學(xué)技術(shù)與工程,2011,11(8):1833–1836.

16 楊康葉,鄔春學(xué).基于RGB模型顏色相似性的彩色圖像分割.計算機系統(tǒng)應(yīng)用,2013,22(3):128–131.

17 Tanuwidjaja E, Huynh D, Koaet K, Nguyen C, Shao C, Torbett P. Chroma: A wearable augmented-reality solution for color blindness. Brush AJ, eds. UbiComp ’14 Proc. of the 2014 ACM International Joint Conference on Pervasive & Ubiquitous Computing. NewYork. ACM. 2014. 799–810.

18 Wachtler T, Dohrmann UR. Modeling color percepts of dichromats. Vision Research, 2004, 44(24): 2843–2855.

Partial Rectification Method of Color Blindness Based on Image-Segmentation

HE Zhi-Liang, ZHAN Pei-Zhen, LI Jia-Ying, CAI Jia-Rong, ZENG Xiao-Ming, ZHANG Xin

(College of Mathematics and Informatics, South China Agriculture University, Guangzhou 510642, China)

In order to improve red-green color blindness’ ability of distinguishing colors, this paper introduces a partial rectification of color blindness based on image-segmentation. An emulation method of color blindness is studied first; then the original image is segmented by K-means cluster algorithm and Hierarchical cluster algorithm. Then, it calculates Euclidean distances of each region in LAB Color Space as the metric of color similarity, and confirms which color regions are hard to distinguish by red-green colorblindness. Finally, the region is replaced by other color with the same brightness and a higher degree of differentiation. With the test of the algorithm on Matlab platform, the result shows that this method can improve color blindness’ ability to distinguish colors and it performs better than other existing methods in reducing cognitive deviation of color.

achromate simulation; local rectification; K-means clustering; color similarity; brightness factor

2015年廣東省創(chuàng)新創(chuàng)業(yè)基金(201510564287)

2016-07-02;

2016-08-29

[10.15888/j.cnki.csa.005691]