基于顏色和紋理特征的面料圖像情感語義分析

張海波 ，黃鐵軍 ，修 毅 ，劉 莉 ，姜 延

（1.北京服裝學院計算機信息中心，北京 100029；2.北京服裝學院服裝材料研究開發與評價北京市重點實驗室，北京 100029；3.北京大學 信息科學技術學院，北京 100871；4.北京服裝學院 服裝藝術與工程學院，北京 100029）

作為服裝三要素之一，面料不僅可以詮釋服裝的風格和特性，而且直接左右著服裝的色彩、造型的表現效果.服裝設計可以說是以面料為材料、以人體為骨架的雕塑藝術[1].服裝面料是一種物質，它的特性如質感、色彩、肌理等都影響著人的情感.當面料在設計師的手中產生時，就是藝術品，它就含有了自己的生命，含有設計師的情緒、設計師對社會的反映、對享有者的體貼和對自然、人體美的關注.所以說面料不只是物質，它含有美的靈魂，含有時代的信息，含有情感[2].隨著信息技術和面料設計軟件技術的發展，越來越多的設計師借助面料設計軟件來設計面料圖案.為了設計出更具有情感感知的面料圖案，對數字化的面料圖像進行情感判斷是一個必不可少的環節；另外隨著服裝電子商務的快速發展，網購者也需要網站主辦方提供一個服裝情感的輔助判斷軟件對所售服裝進行情感判斷或識別.而由于目前技術條件的限制和情感的主觀性，還沒有一個比較成熟的系統能實現對面料圖像的情感語義的識別，所以對服裝面料圖像的情感語義進行分析顯得尤為迫切.作為圖像的一種，目前對面料圖像的情感語義分析的研究還不多見.Chen等[3]對織物圖像的感性搜索進行了研究；賀靜[4]對服裝圖像情感語義分類進行了研究；張海波等[5]對男西裝圖像的情感語義進行了分析.但對圖像情感語義理解的研究比較多，如日本多所大學提出感性媒體研究，并實現了Art Meseum[6]和K-DIME[7]等情感圖像檢索原型系統；王偉凝[8]以藝術類圖像為例研究了圖像的情感語義分類和檢索；Machajsik等[9]利用心理學和藝術學理論來提取圖像功能特征從而實現圖像情感分類；Dellandrea等[10]研究了基于離散三維情感模型的圖像情感語義分類.以上研究在圖像情感語義理解方面取得了一定的研究成果，但由于情感的主觀性和建模的復雜性，“語義鴻溝”仍然歷歷在目，還需要做進一步的研究.本文對面料顏色、紋理特征和面料圖像情感語義描述之間的對應關系進行了探討，為后續的面料圖像情感識別和檢索打下基礎.

1 面料圖像情感因子空間模型

由于情感的主觀性，一般情況下，給定某種面料，不同的人、不同的時間或不同的場合，對其情感的理解是不會完全相同的，甚至是相反的.所以本文在大量調查和測試的基礎上[11]，通過數理統計的方法得出一個共性的規律，建立了面料圖像情感語義模型[12].文獻[12]通過統計分析將7維的情感語義歸結為3個獨立的因子，7對情感語義和3個因子的關系為:

f1、f2、f3這3個因子可以解釋原7對情感語義變量總方差的90.488%（>85%）.

反過來，面料圖像情感因子得分函數為:

根據因子得分系數矩陣，可以由每個圖像樣本的7對形容詞評估值，計算得出3個因子的值.作為共同因子，各因子分別對應著不同的情感語義.這3個因子之間是相互獨立的，且對初始7對情感語義形容詞的解釋程度高達90.488%，表明可以使用這3個因子來概括描述7對情感語義，且信息損失較小[12].

在以情感因子值估計為最終目的的面料圖像特征提取過程中，需要抓住圖像中與圖像情感因子密切相關的本質特征.在目前圖像檢索的特征提取研究中，通常的方法都是先計算出較高維的圖像特征（如顏色直方圖、紋理、形狀特征等），如果維數太高還需要進行降維處理，將最后得到的特征作為圖像的特征描述.對這些降維后的特征所代表的具體含義則缺乏了解，到底哪些特征真正對圖像的語義有貢獻并不明確，所以，雖然目前提取圖像低層特征的方法多種多樣，但仍然很難從這些特征中推導出有意義的語義信息，從情感角度討論的圖像特征就相對更少了.另一方面，在對圖像語義進行分類和提取的研究中，對于不同的語義類別需要側重于不同的圖像特征.

因此，需要根據人的心理效應和情感規律，從眾多特征中找出那些與人的情感感知密切聯系的特征，具體分析出各情感因素主要受哪些圖像特征的影響，采用有針對性的圖像視覺特征描述，以實現圖像情感語義的推導.根據因子分析的結果發現，7維的情感語義主要由3個情感因子決定，每個因子分別對應了多個不同的形容詞對.例如，第1個因子能較好的解釋“高雅的—樸素的”、“華麗的—簡約的”這2個詞義；“豐富的—純凈的”、“強烈的—柔和的”與第2個因子相關程度高；“厚重的—輕薄的”、“溫暖的—涼爽的”則主要與第3個因子相關.這說明，情感因子值與這些形容詞之間存在很大的相關性，即引發這些情感語義的圖像特征大致相同.因此，需要具體分析并構造與3個公共情感因子具有密切聯系的圖像特征，然后根據這些特征推導3個情感因子的值.

一般而言，彩色主要由亮度、色調、飽和度這3個要素構成[13].對于同一色調的彩色光，飽和度越高，顏色就越深、越濃.各種譜色光都是飽和度最高的彩色.亮度、色調、飽和度這3個要素不同程度的大小往往會給人不同的情感反應.例如暖色是溫暖、興奮、刺激、前進、活躍的象征；冷色給人涼爽、冰冷、理智、安靜、冷漠的感覺；彩度高的令人興奮、愉快，有外向、快節奏和很強的時代感；彩度低的顯示樸素、悲哀、冷漠、沉靜、內向和沉默寡言的表情.另外，紋理特征是表示圖像的另一種重要的視覺特征，紋理結構反映圖像亮度的空間變化情況，具有局部與整體的自相似性，紋理是由紋理基元按某種確定性的規律或某種統計規律排列組成的，在紋理區域內各部分具有大致相同的結構.

2 針對第1個因子的特征分析

從因子載荷矩陣中可以看出，與第1個因子關系比較密切的主要是“高雅的—樸素的”、“華麗的—簡約的”這2個詞義.作為同一個因子的組成成分，說明這些詞義之間也存在著非常密切的聯系.

根據色彩心理學理論，“高雅的—樸素的”、“華麗的—簡約的”這一類詞的情感感受，與圖像色彩的純度（飽和度）聯系最為密切.低純度的色彩給人以樸素、簡單的感覺，如圖 1（a）、（b）、（c）；高純度的色彩則給人以鮮艷、高雅的感覺，如圖 1（d）、（e）、（f）.

其次，色彩的冷暖也和“華麗的一簡約的”具有一定關系，暖色調的色彩給人華麗的感覺，而冷色調的色彩給人樸素的感覺.如圖 1（d）、（e）、（f）所示，圖中包含很多紅或黃等鮮艷的暖色，給人以華麗、艷麗的感覺，其對應的因子 1 的值較小；而圖 1（a）、（b）、（c）中大部分是冷色調的灰色、暗藍色，給人以樸素、簡約的感覺，對應的因子1的值較大.另外，“高雅的—樸素的”則與色彩的對比度有較大關系，彩色對比度大的圖像給人高雅、艷麗的感覺；對比度小的則給人以樸素的感覺.

圖1 面料圖像樣本（因子1）Fig.1 Fabric image samples（the first factor）

對圖1中面料圖像特征的計算結果如表1所示.

表1 圖1中面料圖像的飽和度、色調和對比度值Tab.1 Values of saturation，tone and contrast of fabric image samples in figure 1

由表1數據可以看出，因子1大的圖片飽和度較低，平均色調較大，對比度較低，反之則相反.因子1的值與圖像的飽和度、冷暖關系、彩色對比度等密切相關，因此用于訓練該因子的圖像特征必須能夠描述圖像的飽和度、冷暖關系和色彩對比度.

本文采用飽和度—冷暖模糊直方圖和色彩對比度值的綜合特征作為估計第一因子的圖像特征，具體描述如下:

2.1 飽和度描述

對圖像中每個像素的飽和度值進行模糊化處理.這里只使用了3個隸屬函數，分別計算飽和度值對“低飽和度”、“中飽和度”和“高飽和度”3個概念的隸屬度.3個隸屬函數定義如公式（6）所示，若一個像素的飽和度值為32，則它在低飽和度上的隸屬度為0，在中飽和度上的隸屬度為0.80，在高飽和度上的隸屬度為0.20.比較對飽和度使用3個隸屬函數與5個隸屬函數的實驗結果，發現使用5個隸屬函數對結果并沒有改善，這是因為人對飽和度的分辨能力并不如對亮度那么敏感所致，所以此處使用了3個隸屬函數，如公式（6）所示，式中C為飽和度.

2.2 冷暖描述

冷暖本來是人體皮膚對外界溫度高低的觸覺，通過生活印象的積累，使人的視覺、觸覺及心理活動之間產生了聯系，色彩也就相應的會給人冷暖的感覺.色彩的冷暖與色調直接相關，紅色、橙色、黃色等長波系列的色彩給人溫暖的感覺，而短波的藍色、綠色則給人寒冷的感覺.從色彩心理學來考慮，桔紅的純色定為最暖色，天藍的純色定義為最冷色，凡靠近暖極稱為暖色，靠近冷極稱為冷色，與兩極距離相等的稱為中性色.文獻[14]和[15]對色彩情感的研究中，在印刷色樣的情感主觀調查基礎上，采用回歸分析等方法擬合出了描述色彩冷暖（warm-cold）的表達式，得到的表達式分別為:

式中:h為色調角度；B為亮度.

文獻[14]和[15]都認為色調角在50°的時候為最暖，并使用色調值與50°的夾角的余弦cos（h-50°）來描述色彩的冷暖.參考該研究成果，文獻[8]在色調值上定義暖色和冷色的隸屬函數分別為:

其中，色調角度x的范圍為[0，360°].若一個像素的色調值為70°，則它在暖色上的隸屬度為0.934，在冷色上的隸屬度為0.

綜合飽和度與冷暖隸屬函數，它們的組合類別共有6種，可以分別用“低飽和度暖色”、“中飽和度暖色”、“高飽和度暖色”與“低飽和度冷色”、“中飽和度冷色”、“高飽和度冷色”來描述，可以計算出一幅圖像中每一個像素隸屬于這6個類別的隸屬度，若一個像素的飽和度值為32，色調為700，則該像素屬于以上6類的隸屬度分別為[0，0.74，0.19，0，0，0].

統計整幅圖像中每個像素在這6個類別的隸屬度之和，可以得到一個6維的飽和度—冷暖模糊直方圖，該直方圖能夠較好的描述圖像色彩的飽和度與冷暖的統計分布特性.圖1中圖片的飽和冷暖直方圖如表2所示.

由表 2 可以看出，圖 1（a）、（b）、（c）整體色彩比較單一，因此彩色對比度偏小，且整體偏向低飽和度或冷色調；圖 1（d）、（e）、（f）整體偏向高飽和度或暖色調.上述分析與前面的分析大體一致，顯示出它們在色彩飽和度和冷暖特征上的區別，能夠較好的描述圖像的飽和度和冷暖分布，有利于實現第一個情感因子的推導.

2.3 彩色對比度描述

此外，由于第一個情感因子還與圖像的彩色對比度有密切聯系，本文還定義了一幅圖像的彩色對比度為ab_contrast，其表達式為公式（5）.

表2 飽和度—冷暖模糊直方圖Tab.2 Saturation-cold-warm-contrast fuzzy histogram

綜合飽和度—冷暖模糊直方圖和圖像對比度，并進行歸一化處理后，可以得到一個7維特征，該特征中包括了對面料圖像的飽和度、冷暖分布的統計描述和圖像對比度的描述，與第1個因子中的情感描述之間具有密切聯系，所以本文采用該7維特征作為第1個因子的圖像特征.

3 針對第2個因子的特征分析

從公式（2）可以看出，與第2個因子關系比較密切的主要是“豐富的—純凈的”、“強烈的—柔和的”這2個詞義.作為同一個因子的組成成分，說明這些詞義之間也存在著非常密切的聯系.

根據色彩心理學理論，“豐富的—純凈的”、“強烈的—柔和的”這類詞的情感感受，與圖像色彩對比度以及色彩的多樣性聯系最為密切.彩色對比度低且色彩單一給人以純凈的、柔和的感覺，如圖2（a）、（b）、（c）所示；對比度高且色彩多的圖片則給人以豐富的、強烈的感覺，如圖 2（d）、（e）、（f）所示.

圖2 面料圖像樣本（因子2）Fig.2 Fabric image samples（the second factor）

圖片的彩色對比度可以用公式（5）進行描述，圖2中各圖像的彩色對比度如表3所示.

由表 3 可以看出，圖 2（a）、（b）、（c）的因子 2 都較大，但是彩色對比度都很低；相反，圖 2（d）、（e）、（f）的因子2都很小，但是彩色對比度都很大.

另外，從圖2的6張圖片中可以明顯看出，圖2（a）、（b）、（c） 中所包含的顏色種類比較少，整體給人很純凈單一的感覺，而圖 2（d）、（e）、（f）中的顏色種類比較多，給人很豐富的感覺.

表3 彩色對比度表Tab.3 Values of color contrast of fabric image samples

灰度直方圖是灰度級的函數，描述的是圖像中該灰度級的像素個數或該灰度級像素出現的頻率.即:橫坐標表示灰度級，一般用r表示，縱坐標表示圖像中該灰度級出現的個數或該灰度級像素出現的頻率，用P（rk）表示.這個關系圖就是灰度直方圖，它反映了圖像灰度分布的情況，計算公式如式（11）所示:

式中:N為一副圖像中像素的總數；nk為第k級灰度的像素數；rk表示第k個灰度級；P（rk）則表示該灰度級出現的概率.因為P（rk）給出了對rk出現概率的一個估值，所以直方圖提供了原圖的灰度值分布情況.灰度直方圖灰度級的分布可以提供圖像信息的許多特征，為圖像分析提供了一個有力的工具.例如，若直方圖密集地分布在很窄的區域之內，說明圖像的對比度很低；若直方圖有2個峰值，則說明圖像中很有可能存在2種不同亮度的區域.

通過以上分析可以得出，描述圖像色彩的多樣性可以從圖像的顏色分布情況來查看，因此可以通過查看圖像的直方圖分布來做直觀的分析，如圖3所示.圖3中6張圖像分別代表圖2中6張圖像的灰度直方圖.從上述直方圖分布來看，圖 2（a）、（b）、（c）由于色彩單一，因此直方圖分布集中在少數灰度值上面，而圖 2（d）、（e）、（f）色彩比較多，因此直方圖分布相對較均勻.

在圖3的直方圖中，左上角的數值代表了灰度值最多的灰度級所占的比例.可以看出，（a）到（c）中最大的數值比（d）到（f）中普遍要大出很多.這又從定量的角度說明了（a）到（c）中灰度主要集中在少量灰度級上面，而相對的（d）到（f）則比較均勻，與上面定性分析的結果是一致的.

綜上所述，可以將圖像轉換到灰度圖空間計算直方圖分布，并進行歸一化處理作為256維的特征，加上彩色對比度總共257維的特征來描述圖像與因子2的關系.

圖3 圖2中面料圖像的灰度直方圖Fig.3 Grayscale histogram of fabric image in figure 2

4 針對第3個因子的特征分析

從公式（2）中可以看出，與第3個因子關系比較密切的主要是“厚重的—輕薄的”、“溫暖的—涼爽的”這2對詞義.作為同一個因子的組成成分，說明這些詞義之間也存在著非常密切的聯系.

根據色彩心理學理論，“厚重的—輕薄的”、“溫暖的—涼爽的”這類詞的情感感受，與圖像的平滑程度以及圖像的冷暖色調最為密切，圖像平滑且冷色調的圖片給人以輕薄的、涼爽的感覺；如圖 4（a）、（b）、（c）所示；圖像粗糙且暖色調則給人以厚重的、溫暖的感覺，如圖 4（d）、（e）、（f）所示.

圖4 面料圖像樣本（因子3）Fig.4 Fabric sample image（the third factor）

圖像的平滑與粗糙程度可以用圖像的紋理特征來表示.灰度共生矩陣法（GLCM，gray-level cooccurrence matrix）通過研究灰度的空間相關特性來描述紋理，是目前最常見、應用最廣泛、效果最好的一種紋理統計分析方法.灰度共生矩陣能反映出圖像灰度關于方向、相鄰間隔、變化幅度的綜合信息，它是分析圖像的局部模式和它們排列規則的基礎，反映了圖像中任意兩點灰度的相關性，據此可進行紋理特征的抽取及分析.

對于一幅圖像Gf（i，j），大小N×N，包含像素（動態范圍為 G）的灰度級為{0，1，…，G-1}，它的灰度共生矩陣是一個二維矩陣C（i，j），每個矩陣元素表示在某一距離d和角度θ強度i和j聯合出現的概率.按角度分一般可以分為4種情況:①水平相鄰；②垂直相鄰；③西北—東南方向相鄰45°；④東北—西南方向相鄰 135°.

不同的圖像由于紋理尺度的不同其灰度共生矩陣會有很大差別.對于粗紋理圖像，紋理尺度大，灰度較平滑，其像素趨于具有相同的亮度，所以共生矩陣的G（i，j）值較集中于對角線附近.而對于細紋理圖像，紋理尺度較小，灰度值分布不集中，其共生矩陣中的G（i，j）值分散在各處.由此可見，共生矩陣可以反映不同灰度像素相對位置的空間信息.為了能更直觀地以共生矩陣描述紋理狀況，可從共生矩陣導出一些反映矩陣狀況的參數，典型的有以下幾種:

（1）能量（ASM）:是灰度共生矩陣元素值的平方和，所以也稱能量，反映了圖像灰度分布的均勻程度和紋理粗細度.如果共生矩陣的所有值均相等，則ASM值小；相反，如果其中一些值大而其它值小，則ASM值大.當共生矩陣中元素集中分布時，此時ASM值大.ASM值大表明一種較均一和規則變化的紋理模式.ASM的計算公式如下:

（2）對比度（CON）:反映了圖像的清晰度和紋理溝紋深淺的程度.紋理溝紋越深，其對比度越大，視覺效果越清晰；反之，對比度小，則溝紋淺，效果模糊.灰度差即對比度大的像素對越多，這個值越大.灰度共生矩陣中遠離對角線的元素值越大，CON越大.CON的計算公式如下:

（3）熵（ENT）:是圖像所具有的信息量的度量，紋理信息也屬于圖像的信息，是一個隨機性的度量，當共生矩陣中所有元素有最大的隨機性、空間共生矩陣中所有值幾乎相等時，共生矩陣中元素分散分布時，熵較大.它表示了圖像中紋理的非均勻程度或復雜程度.ENT的計算公式如下:

另外，圖 4 中（a）、（b）、（c）都是藍色、灰白等淡色調，而圖 4 中（d）、（e）、（f）都是黃色、深紅色等暖色調，也就是說因子3跟色彩的冷暖度也有關系，所以還采用圖像的平均冷色調和平均暖色調來對圖4中的圖像進行定量分析.按照上述特征對圖4中（a）到（f）圖的參數進行計算，得到的數值如表4所示.

表4 圖4中的圖像共生矩陣參數和平均色調值Tab.4 Values of GLCM and average tone of images in figure 4

由表 4 可以看出，圖 4 中（a）、（b）、（c） 的 ASM、CON、ENT 都較大，說明它們比圖 4（d）、（e）、（f）更均勻并且更平滑清晰，分析的結果與上述理論一致.另外，圖 4（a）、（b）、（c）的平均色調較大，約在 200～300之間，落在冷色調的范圍之中；而圖 4（d）、（e）、（f）的平均色調較小，大概范圍在0～150之間，落在暖色調的范圍之中，因此也與上述的分析保持一致.

綜上所述，從定性和定量分析的角度都可以看出這些特征跟因子3的相關程度較高.因此，本文利用GLCM對圖像進行紋理分析，然后求取ASM、CON、ENT，再計算出圖像的平均色調，共采用4維特征來表征因子3.

5 結束語

面料圖像情感因子空間中共有3個因子，第1個因子能較好的解釋“高雅的—樸素的”、“華麗的—簡約的”這2對詞義；第2個因子主要解釋了“豐富的—純凈的”、“強烈的—柔和”這2對語義；第3個因子則主要與“厚重的—輕薄的”、“溫暖的—涼爽的”相關.通過本文的分析，第1個因子可以用7維特征（6維的飽和度—冷暖模糊直方圖加1維的圖像對比度）來表征；第2個因子可以用257維特征（256維的灰度圖加1維的彩色對比度）來表征；第3個因子可以用4維特征（3維的灰度矩陣參數加1維的平均色調值）來表征.至此，本文對服裝面料的圖像情感語義低層特征進行了詳細的分析，為下一步探索利用這些圖像特征進行面料圖像情感語義的識別和評價奠定了基礎.

[1]劉楠，孫靜.服裝面料中的情感與服裝設計[J].山東紡織經濟，2009，149（1）:62－64.

[2]蔡成英.服裝面料中的情感因素[J].裝飾，2004，9（11）:11.

[3]CHEN Y W，SOBUE S，HUANG X Y.KANSEI based clothing fabric image retrieval[C]//Second International Computational Color Imaging Workshop（CCIW 2009）.Saint－Etienne:[s.n.]，2009:71－80.

[4]賀靜.基于特征融合的服裝圖像情感語義分類研究[D].太原:太原理工大學，2007.

[5]張海波，劉瑞璞，劉莉.男西裝情感因子空間研究[J].東華大學學報:自然科學版，2012，38（3）:292－296.

[6]YOSHIDA K，KATO T，YANARU T.Image retrieval system using impression words[C]//1998 IEEE International Conference on Systems，Man，and Cybernetics.San Diego:[s.n.]，1998:2780－2784.

[7]BIANCHI N B.K－DIME:A affective image filtering system[J].IEEE Multimedia，2003，10（3）:103－106.

[8]王偉凝.基于情感語義的圖像特征提取、檢索與分類研究[D].廣州:華南理工大學，2005.

[9]MACHAJDIK J，HANBURY A.Affective image classification using features inspired by Psychology and art theory[C]//ACM 2010 International Conference on Multimedia.New York:[s.n.]，2010:83－92.

[10]DELLANDREA E，LIU N N，CHEN L M.Classification of affective semantics in images based on discrete and dimensional models of emotions[C]//International Workshop on Content－Based Multimedia Indexing（CBMI）.Grenoble:[s.n.]，2010:1－6.

[11]張海波，黃鐵軍，萬飛飛.基于Web的服裝面料圖像情感測試系統[J]. 針織工業，2012（8）:55－58.

[12]ZHANG Haibo，HUANG Tiejun，LIU Li.Study on the emotion factor space of fabric[C]//International Conference on Kansei Engineering and Emotion Research.Taiwan:[s.n.]，2012:1174－1178.

[13]黃元慶.服裝色彩學[M].5版.北京:中國紡織出版社，2010.

[14]OU Lichen，LUO M Ronnier，WOODCOCK Adree，et al.A study of colour emotion and colour preference[J].Pant I:Colour Emotions for Single Clolours，2004，29（3）:232－240.

[15]SATO T，KAJIWARA K，HOSHINO H，et al.Quantitative evaluation and categorizing of human emotion induced by colour[J].Advances in Colour Science and Technology，2000，3（3）:53－59.