面向檢索應用的商標顯著性檢測方法

王 楠,伍陽停,朱琦赫,李寶安,惠 健,王子健

(1.北京信息科技大學 網絡文化與數字傳播北京市重點實驗室,北京 100029;2.北京信息科技大學 計算機學院,北京 100029;3.杭州海康威視數字技術有限公司,浙江 杭州 310000)

0 引 言

顯著性特征與商標注冊申請、侵權判斷息息相關,因此商標顯著性判斷和檢測就非常重要[1-2]。所謂顯著性在視覺上是指某些物體或區域比其周圍部分表現出更明顯的特征。人的視覺系統在看到一個場景時,會自動并優先注意場景內的顯著性物體,而后再關注場景內的背景或環境[3]。因此學者們建立了與人類視覺系統相似的數學模型,相關模型通常建立在如下視覺顯著性檢測原理基礎上:一個是對比度原理。在一個場景中通過不同物體的顏色、形狀、亮度等特征分辨物體;另一個是高頻抑制原理,廣泛應用于頻域圖像顯著性分析;第三個是Gestalt原理,假設人類視覺優先關注場景內的核心區域,并以該區域為中心向四周延展處理。顯著性區域提取往往還要經過特征處理和綜合表征兩個環節[4]。其中,特征處理是通過視覺系統并行提取各種獨立的初級特征,包括紋理、方向、亮度、大小、顏色、曲率、傾角等,進行像素級比較;而在綜合表征環節,初級視覺特征被統合起來,集成到顯著體中。以上思路已經在很多顯著性檢測場景中得到了應用和驗證。目前,由于分辨率低、圖像模糊、信息量小、噪聲大等問題,還沒有合適的針對商標等小目標圖像的顯著性檢測算法。此外,現有顯著性目標數據集稀少且標注復雜,不能滿足商標顯著性檢測任務的需要,容易出現樣本不平衡問題。基于顯著性檢測的商標檢索系統也鮮有實現[5]。

因此,該文提出了一套面向商標圖像目標的顯著性檢測任務的整體解決方案。首先,給出了商標顯著性特征數據加工方法,搭建并開源一套滿足商標顯著性檢測任務評測的數據集。其次,基于已有顯著性檢測框架,多角度評估了現有流行的顯著性檢測算法,給出一種適配商標圖案顯著性檢測任務的深度網絡架構。最后,開發一個快速高效的商標檢索系統,為后續工業級應用奠定基礎。

1 商標顯著性檢測

1.1 商標的顯著性檢測問題

商標的顯著性強弱決定了商標保護的范圍。常見的商標顯著性檢測問題可以劃分為兩種[1,4]:第一種是針對商標圖像的顯著性特征檢測與識別,另一種是從商品包裝中進行商標識別。該文的商標顯著性檢測主要從第一種問題出發,區分當前待檢測商標與已有商標間的顯著性差異。在商標特征選擇方面,初始特征表示通常采用的比較明顯的淺層特征,如顏色、亮度、形狀等,對背景干凈、對比明顯的商標顯著性區域提取有一定的效果。但是實際商標圖像存在著大量的復雜背景、色彩、紋理以及各種不完整的區塊,其提取出的特征不完整,所以識別效果往往達不到標準。因此需要開發滿足上述任務的顯著性檢測方案。下面系統介紹一下顯著性檢測常見模型及算法。

1.2 顯著性檢測研究現狀

傳統的顯著性檢測方法往往采用手工標記特征,并利用大量的先驗知識(如對比度先驗、背景先驗、顏色先驗等)來進行顯著性判斷[6]。相關模型可以分為兩類:由數據驅動的自下向上模型和由任務驅動的自上向下模型。數據驅動模型是一種快速的,無意識的,數據驅動的視覺注意機制[2,7]。一般通過顏色、亮度和邊緣判斷目標區域與區域周圍之間的像素差異,然后計算目標圖像區域的顯著性。這類模型不僅計算簡單,而且適用范圍廣。任務驅動模型是一種緩慢的、有意識的、閉環的視覺注意過程,一般是指提取并識別圖像中高級語義特征信息,計算圖像目標區域的顯著性。目前常將兩種思路獲得的特征融合并綜合運用。由于圖像檢測對象的旋轉、變形、平移、遮擋等問題,待檢測目標往往呈現多向變化特征。Ojala等人[8]首次利用局部二值模式(Local Binary Pattern,LBP)解決光照變化的影響問題,從而獲得灰度不變性及紋理表征方式。Tomoki等人提出利用局部歸一化的梯度方向直方圖(HOG描述符),獲取圖像的平移不變性、亮度和旋轉不變性,輸入分類器來完成目標檢測任務[9]。Liu等人[10]提出將顯著性檢測任務簡化為二值分割問題,采用局部特征、區域特征和全局特征表示顯著性物體。此外,也有學者提出了局部特征點方案,改善亮度、大小和遮擋覆蓋等問題。上述技術也逐漸用于商標識別與商標圖片檢測任務中。Joly等人[11]采用了SIFT特征點匹配技術,通過設置閾值來提高查找的準確性,減少商標大小以及方向旋轉的影響。Fu等人[12]將SIFT、形狀以及分割塊等特征融合,提高顯著性檢測精度,但特征點匹配十分耗時。Sivic和Zisserman等人計算特征點向量之間的差異分辨顯著性區域,能夠顯著提升圖像檢測與識別的速度[13]。近年來,顯著性檢測轉向基于底層特征的計算模型,進一步提高檢測精度。Li等人[14]提出全局對比度算法,通過顏色空間維度變換使得顯著性區域和背景區域可分。此外,還有基于最小化柵格距離(MBD)變換的顯著性檢測算法,計算像素與邊界的顏色距離,以此衡量像素的顯著值。該方法對圖像像素值波動有很好的魯棒性,不必經過區域抽象化預處理(如超像素分割),但是計算相當耗時。上述顯著性檢測方法雖然可以有效地對視覺場景中的圖像進行檢測,但難以高效學習特征且計算效率較低。

近年來,由于深度學習模型對圖像中復雜特征信息具有較強的學習能力,能夠同時提取多尺度深度特征信息以達到圖像顯著性檢測目的,因此逐漸引入到圖像顯著性檢測模型中[15-16]。2014年以前,深度模型主要采用多層感知機。利用CNN結構獲取特征中的空間信息,但是全連接層和池化層的運用,導致聚合過程中位置信息的丟失。針對全連接層問題,Long等人[15-16]提出了全卷積網絡(FCN),FCN模型將傳統CNN中的全連接層轉化成一個個的卷積層,在不帶有全連接層的情況下進行目標預測,使得顯著性檢測更加高效。該類結構逐漸在顯著性識別和語義分割中推廣開來[17]。進一步將顯著性檢測、空間一致性、多層次圖像分割結合起來,形成完整的顯著性目標檢測框架[18-19]。但由于相關檢測數據不夠規范,導致檢測算法準確率不夠高、魯棒性差、檢測速率低。黃明珠等[20]提出了基于改進Faster R-CNN的顯著性目標檢測方法,且使用對抗訓練生成低分辨率的小目標樣本,解決了圖像分辨率低導致顯著性檢測性能低的問題。但同時由于組合模型的結構復雜,兩階段訓練時間和計算量大大增加。另一類基于回歸的單步目標檢測的YOLO系列算法也被提出。通過新增檢測層和空間注意力機制,更關注圖像前景特征和尺度問題。但由于引入新的全連接層和卷積層,訓練成本和信息丟失仍然存在。此外,針對池化問題,學者們提出了編碼器-解碼器(Encoder-Decoder)結構。Encoder模塊使用池化層縮減輸入空間的維度,而Decoder模塊則通過反卷積層等盡可能恢復目標細節,其代表性模型為U-Net模型[21]。U-Net類模型中以U-Net結構為基礎網絡,使用多尺度特征進行語義分割,其U形結構也啟發了后面很多算法;也有學者設計了空洞卷積結構,且消除了池化層結構,代表性模型為DeepLab-v3+模型[22]。DeepLab-v3+模型使用空間金字塔模塊和Encoder-Decoder結構做語義分割。此外,大量顯著性檢測算法也采用了以VGG、ResNet、DenseNet為骨干網絡的深度神經網絡架構[23-25]。一些創造性的精細化結構也進一步提高了顯著性檢測的效果,讓編碼器提取更為豐富的語義信息來指引解碼器的顯著性圖預測[26]。在上述模型的基礎上,Qin等人提出了BASNet模型[27]。該模型由兩個模塊組成,預測模塊是一個類似U-Net的密集監督編解碼器網絡,從輸入圖像中預測顯著圖,通過多尺度殘差細化模塊(RRM)來細化預測模塊的結果顯著圖。由U-Net出發,U2-Net進一步采用了兩級嵌套的U形結構,為顯著性對象檢測任務(Salient Object Detection,SOD)進行了精細化設計[28]。以上總結如表1所示,相關模型算法沒有針對商標圖像顯著性問題進行探討,也缺少系統性分析和評測。因此,有必要開發一套全新的面向商標顯著性檢測任務的數據集,并探討相關深度學習算法的效果,在后文會進行具體實踐和介紹。

表1 顯著性檢測相關模型匯總

2 商標顯著性檢測數據集設計

2.1 顯著性檢測數據集設計

首先針對開源的顯著性數據集進行整理與介紹,并進一步提出商標顯著性數據集開發方案,用于后續分析與評測。

2.1.1 開源顯著性檢測數據集

現有的顯著性檢測數據集有MSAR、Achanta、SED、SOD等[17]。MSAR包含了5 000張測試圖片,包括自然場景、人物、動物、室內室外等,圖像分辨率也不同,框選最顯著的物體構建數據集真值。Achanta數據集是在MSAR數據集內挑選了1 000張比較有代表性的測試圖片,并且把MSAR數據集內顯著性物體的邊界切割出來形成一個二值化模板作為真值,如圖1所示。在MSAR數據集和Achanta數據集內,圖像中只包含一個顯著物體。而在SED數據集中包含兩部分。第一部分是SED1,每幅圖形只有一個顯著物體;第二部分是SED2,每幅圖形有兩個顯著性物體,由切割顯著物體邊界作為真值。SOD數據集是由觀測者在300幅測試圖像上切割物體的邊界作為真值,許多測試圖像都包含一個顯著物體。這些數據集構建過程為該文商標顯著性檢測數據集設計提供了思路。

圖1 MSAR數據集和Achanta數據集真值

2.1.2 商標顯著性檢測數據集

商標圖像區別于上述通用圖像,往往是通過設計產生的,以相對規范的電子數據格式存放,所以不存在常見的亮度、遮蓋等噪聲影響。本次使用的數據集為自建的真實商標數據集,數據來源為中國商標網,數據集目前涵蓋2 000張商標圖片。采用如圖2所示的數據集制作流程。首先獲取大量的商標數據并存入數據庫,將其中的圖像商標篩選出來。對比常見軟件的顯著區域標注效果,利用交互式分割自動標注工具,加快圖片標注的速度,保存標注結果以JSON格式存儲。最終形成可訓練以及測試的數據集,圖3為標注過程以及部分標注數據效果展示。

2.2 商標顯著性檢測數據庫設計

商標顯著性檢測系統使用MySQL數據庫存儲商標的數據。在數據庫中存儲不同類型的商標數據信息表,包括注冊商標基本信息、實體關系等,用于返回數據庫內的相似商標以及商標的信息。

圖2 數據集制作流程

3 商標顯著性檢測方法

3.1 數據預處理及評估指標

在數據預處理階段,對圖片執行圖片裁剪、銳化、去噪、灰度調整等操作,消除圖像中無法使用的信息,增強信息的準確性以及簡化數據。預處理完成后,將圖片送入訓練好的模型進行預測并返回結果。在方法定量評估階段,通常以混淆矩陣為基礎計算F1評價指標。此外,顯著性檢測任務也采用如下指標:像素準確率(Pixel Accuracy,PA),在一張顯著性圖像中判斷檢測像素點是否正確,如公式(1)所示。類別平均像素準確率(Mean Pixel Accuracy,MPA),該指標對于顯著性而言,代表的是顯著性區域與背景區域的像素正確率平均值,計算公式如公式(2)所示。平均交并比(Mean Intersection over Union,MIoU),此指標對于顯著性檢測而言,計算顯著性區域與背景區域的交并比再平均。其中,交并比(Intersection over Union,IoU)表示的含義是顯著性區域的識別結果與真實結果的交集和并集的比值,計算公式如公式(3)所示。

(1)

(2)

(3)

3.2 顯著性檢測深度學習模型

與傳統方法相比,深度學習顯著目標檢測網絡表現出了更好的性能和正確率。近年來,學者們已經提出了許多深度學習顯著目標檢測算法。全卷積深度網絡模型(FCN)是將全連接層全部替換成了卷積操作,通過Softmax層計算每個像素點的概率分布,達到顯著性檢測的目的[16]。但是FCN的上采樣比較粗糙,細節分割效果不理想,并且沒有充分考慮像素空間一致性;DeepLab-v3+模型依賴于空洞卷積多尺度的信息,添加一個簡單有效的解碼器細化分割結果,在不改變特征圖的同時,控制感受野并提取多尺度信息,效果比較明顯[22];U-Net網絡結構是典型的Encoder-Decoder架構,網絡結構左側通過下采樣獲取特征,右側通過上采樣恢復原圖。網絡中還使用了跳躍連接,即解碼器每上采樣一次,就以拼接的方式將解碼器和編碼器中對應的相同分辨率特征圖進行特征融合,幫助解碼器更好地恢復目標的細節[21]。雖然U-Net在融合時恢復了目標細節,但是提取信息由于缺少底層信息,使得顯著性檢測邊界模糊并且運行效率低;BASNet模型第一部分預測模塊是一個Encoder-Decoder網絡,輸出初步預測的顯著性圖。第二部分殘差優化模塊與第一部分的主要架構相似但更加簡單。編碼器和解碼器都有4個階段,每個階段都只有一個卷積層[27]。使用一個Residual Refinement Module (RRM)跟Structural Similarity Index Module (SSIM),目標分割效果較好。U2-Net是一種為顯著性檢測(Salient Object Detection,SOD)而設計的網絡模型,通過一種新的殘差U塊(ReSidual U-block,RSU)提取多尺度特征,并且不降低特征圖的分辨率。嵌套U結構能夠更有效地提取階段內多尺度特征和聚合階段間多級特征完成顯著性檢測任務[28]。這種新架構允許網絡深入并實現高分辨率,而不顯著增加內存和計算成本。

通過對上述算法的整理和調試,開展對比實驗。實驗在配置為Intel(R) Core(TM) i5-8300H處理器、NVIDIAGTX 1050顯卡、內存16 GB的計算機上運行。商標顯著性檢測數據集隨機劃分,最終訓練集圖片共計1 600張,測試集圖片200張,驗證集圖片200張。訓練過程中利用訓練集、驗證集的反饋(精度、損失)調整網絡參數,使該模型達到最優神經網絡的訓練驗證以及測試,整個實驗均基于深度學習框架Pytorch進行。上述五種模型的顯著性檢測結果如圖4所示。第1個測試目標中,四片樹葉的縫隙被U2-Net網絡檢測成功,但是BASNet網絡的結果直接忽視了四條縫隙。第2個測試目標的結果顯示,FCN細節處理的結果比較粗糙;第4個測試目標的結果顯示,U-Net網絡與Deeplab-v3+網絡生成的顯著圖中存在著明顯的缺失。綜上所述,U2-Net模型測試結果在與其他模型對比中,有著細節處理細膩,顯著性區域提取完整的特點。表2已給出了評價指標結果,其中U2-Net網絡的像素準確率最高,達到了0.92,F1-score也達到了0.907,而MIoU值在五種模型中也是最高的。通過上述指標對比以及生成的顯著圖對比后,最終采用U2-Net為系統的優選模型,經改進適配后用于商標檢索系統的顯著性檢測服務。

表2 五種模型算法的評價指標值

圖4 五種模型的顯著性檢測結果

3.3 商標顯著性相似計算

相似計算是商標圖像檢索的關鍵一步。首先對輸入的商標進行特征提取,利用函數計算特征的相似度,計算完成后將相似數據排序返回。采用Python的Annoy模塊,用于檢索近鄰空間數據。檢索過程一般分成三步:(1)特征索引建立。對于待檢索的信息首先要建立索引;(2)進行近鄰查詢,利用模型內置函數進行搜索查詢;(3)返回近鄰節點,給出相似商標結果。首先對圖片特征進行提取并把圖片特征轉化為維度為[7,7,512]的浮點型數據,保存圖片索引Id與名稱的映射數據,查詢返回最接近的多個相似圖片索引Id來查詢相似商標圖案。

4 商標顯著性檢測系統實現

商標顯著性檢測方法和工程實現主要由前端、后端、項目部署及展示三部分組成。

4.1 前后端開發

前端頁面使用Vue框架進行開發,前端涉及登錄頁、注冊頁、顯著性檢測頁、圖片檢索頁、文字檢索頁。登錄頁是系統的基本功能,點擊登錄觸發動作,前端將表單使用POST請求發送給后端比對。系統登錄成功后默認跳轉到顯著性檢測頁,圖片顯示功能是使用的Vue框架的Element Plus組件完成。使用flask搭建的U2-Net模型預測服務,訪問該地址圖片就能顯示在前端頁面中。圖片檢索頁與顯著性檢測頁類似,輸入查詢的功能與顯著性效果檢測功能實現步驟一致。后端使用Springboot+Flask開發,顯著性檢測和圖片檢索使用Flask搭建應用程序接口(API)。以圖片檢索頁為例,當用戶在前端上傳一張圖片點擊查詢按鈕后,后端接受到文件并保存到本地,調用相似度搜索函數,函數返回多張相似圖片的注冊號,根據注冊號將相似商標圖案展示。

4.2 商標檢索系統部署與展示

系統部署在本地計算機內,硬件配置為 Intel(R) Core(TM) i5-8300H處理器、NVIDIAGTX1050顯卡、內存16 GB,軟件配置為Java版本1.8.0_281,Python版本3.7.1。當用戶點擊導入圖片后,圖片顯示框將把上傳的圖片實時顯示出來。如圖5所示,當用戶點擊查詢按鈕后,檢測的圖片就被送入后端并返回相似商標的信息,前端將這些信息展示在列表區。當用戶輸入待搜索的商標名稱時,前端就將商標名稱送入到后端并對數據庫進行查詢,返回的信息展示在列表區。

圖5 圖片檢索效果

5 結束語

在龐大的商標數據庫中,進行商標相似搜索、侵權判定目前仍然是成本較高且耗費資源的問題。該文提出了商標顯著性特征檢測方法和框架,相關框架吸納國內外經典顯著性檢測模型,并進行了對比驗證,最后提出了面向商標相似搜索的顯著性檢測解決方案。結論如下:

(1)自建并開源商標顯著性檢測數據集。目前國內外沒有專門針對于商標顯著性檢測任務的數據集,該文在中文商標數據庫中選取了2 000張商標圖片數據并標注了顯著性特征,最終構建了一個可用于訓練、測試的商標數據集。

(2)商標顯著性數據處理。搭建商標數據庫,對商標數據庫添加路徑地址字段(URL),編寫Python腳本使商標信息與圖片關聯,解決數據庫中文本信息與圖片信息不匹配的問題,實現了通過查詢數據庫并找到對應圖片的需求。

(3)商標顯著性檢測算法設計及評價指標。對U-Net、FCN、BASNet、Deeplab-v3+、U2-Net等五種流行算法進行復現并訓練測試,編寫腳本計算算法的像素準確率、平均交互比等評價指標,最終優選U2-Net深度模型作為商標顯著性檢測服務的基礎模型。

(4)基于商標圖像適配的深度模型算法完成商標的顯著性檢測任務,并搭建了一套商標快速高效搜索系統,初步在一些項目中完成應用。

當然算法也存在諸多問題,比如模型優化訓練及評測還不夠完善。下一步準備將繼續增大數據集的小目標的數據與標簽精細程度。保證模型檢測精度的基礎上,優化訓練及測試過程,逐漸形成能夠滿足工業級應用的商標顯著性檢測框架和系統。