再彎的字也能識(shí)別　探秘亞馬遜TextTubes

技術(shù)宅

了解OCR識(shí)別原理

OCR是指通過特定的電子設(shè)備（例如掃描儀或數(shù)碼相機(jī)）對圖片進(jìn)行處理，然后用字符識(shí)別方法將形狀翻譯成計(jì)算機(jī)文字的過程。如現(xiàn)在很多學(xué)生在使用的拍照解題APP，可以識(shí)別出照片上的題目，幕后功臣就是OCR（圖1）。我們以上述解題APP為例，APP在接收到圖片后會(huì)進(jìn)行預(yù)處理并將圖片矯正，接著對圖片進(jìn)行水平切割（用于識(shí)別水平方向的行）和垂直切割（用于識(shí)別垂直方向的列），最后對文字進(jìn)行特征向量的提取并成功識(shí)別（圖2）。

①解題APP題目識(shí)別就是OCR

②OCR識(shí)別文字流程圖解

彎曲文字識(shí)別突破——TextTubes背后的技術(shù)

常規(guī)OCR識(shí)別通過切割獲取行和列，也就是要OCR從圖片中識(shí)別出每個(gè)文字，文字的分割結(jié)構(gòu)應(yīng)該是按照“田字格”的模式排列（圖3）。

③常規(guī)OCR的水平、垂直切割示例

不過生活中我們經(jīng)常遇到很多彎曲文字，比如廣告牌上的宣傳文字、一些論壇顯示的圖片驗(yàn)證碼，對于這些圖片如果按照傳統(tǒng)的方式切割，它會(huì)將文字切割為不完整的多個(gè)部分，比如下圖中的“N”和“8”，N字母被切割為上下兩部分，這樣的結(jié)果自然是導(dǎo)致識(shí)別失敗。所以常規(guī)OCR對于彎曲文字的識(shí)別是有難度的，當(dāng)然這也是為什么很多論壇使用這種彎曲驗(yàn)證文字來避免機(jī)器人自動(dòng)登錄的原因（圖4）。

④傳統(tǒng)的水平、垂直切割導(dǎo)致文字分裂

⑤TextTubes技術(shù)選取彎曲文字

為了解決彎曲文字識(shí)別難題，亞馬遜研究人員引入了TextTubes技術(shù)，它引入了一種新的算法，該算法首先會(huì)對目標(biāo)圖像進(jìn)行建模，建立一個(gè)曲線函數(shù)，然后再分析出半徑以及中間軸，繼而生成一個(gè)文本選取分區(qū)。簡單地說就是把彎曲的部分看成是一個(gè)近似圓的某個(gè)扇區(qū)，然后將文字覆蓋的區(qū)域作為扇形的某個(gè)部分，最后對其進(jìn)行分割選取。上述例子，它把圖片字符所在區(qū)域看成一個(gè)扇形，文字的行（對應(yīng)水平分割）是通過上下兩段弧形進(jìn)行選取，每個(gè)字符（對應(yīng)垂直分割）則借助半徑線條實(shí)現(xiàn)，這樣彎曲文字可以被分割為一個(gè)個(gè)獨(dú)立又完整的字符（圖5）。

當(dāng)然在實(shí)際識(shí)別中，彎曲的形狀多種多樣，文字排列方式也不盡相同。為了能夠提高TextTubes的識(shí)別效率，亞馬遜引入了大數(shù)據(jù)機(jī)器訓(xùn)練方法，它準(zhǔn)備了兩個(gè)訓(xùn)練數(shù)據(jù)集CTW-1500和Total-Text，前者包含1500張圖片和超過10000個(gè)的文本字符，每張圖片里至少包含一種彎曲文本形式。后者則有1255個(gè)訓(xùn)練圖像、300個(gè)測試圖像，同樣的，每張訓(xùn)練圖片中也至少包含一種彎曲文本形式。這樣通過一定時(shí)間的訓(xùn)練，機(jī)器就可以對生活中常見的彎曲形式進(jìn)行識(shí)別。接著在這個(gè)基礎(chǔ)上可以生成一套新的算法，部署這個(gè)算法的OCR軟件在接收到包含彎曲文字的圖片時(shí)，它會(huì)自動(dòng)根據(jù)算法對常見圖片上的彎曲文字進(jìn)行準(zhǔn)確的分割和識(shí)別，從而解決傳統(tǒng)OCR無法識(shí)別彎曲文字的難題（圖6）。

⑥TextTubes技術(shù)圖解

現(xiàn)在不僅借助機(jī)器學(xué)習(xí)，很多OCR訓(xùn)練還引入了Al的卷積神經(jīng)網(wǎng)絡(luò)（CNN），這樣通過機(jī)器深度學(xué)習(xí)+卷積神經(jīng)網(wǎng)絡(luò)，可以讓OCR實(shí)現(xiàn)更加智能的提取，比如在更復(fù)雜的場景（不僅僅是在彎曲圖片上）識(shí)別出各種字符。場景文本識(shí)別（文字檢測+文字識(shí)別）是未來OCR技術(shù)的發(fā)展方向，如基于Google Lens底層的AI光學(xué)字元辨識(shí)（OCR）技術(shù)現(xiàn)在已經(jīng)能辨識(shí)超過10億種物件，并且可以在各種復(fù)雜場景中識(shí)別出諸如相片中的店鋪招牌、地標(biāo)、景點(diǎn)、著名建筑、Wi-Fi等等物件（圖7）。

⑦基于圖像識(shí)別和OCR技術(shù)的人工智能應(yīng)用——Google Lens

新型OCR識(shí)別技術(shù)給我們帶來便利

顯然如果彎曲的文字可以被自動(dòng)識(shí)別，它可以給我們的生活帶來很多的便利，因?yàn)樵谏钪羞€有許多彎曲字符，比如應(yīng)用到安防識(shí)別中，那些彎曲車標(biāo)標(biāo)識(shí)就可以快速識(shí)別，迅速確定用戶駕駛的汽車品牌（圖8）。

當(dāng)然這些技術(shù)還可以應(yīng)用在自動(dòng)駕駛汽車識(shí)別標(biāo)志牌、智能導(dǎo)航、街頭數(shù)據(jù)采集等等領(lǐng)域。比如大家常用的美團(tuán)，它對于街頭店面的自動(dòng)采集系統(tǒng)就使用類似TextTubes的技術(shù)。雖然很多店鋪門頭圖、店名采用不規(guī)則分布文字，這些文字行本身多角度且字符的筆畫寬度變化大，但是美團(tuán)借助“OCR+全卷積網(wǎng)絡(luò)定位”實(shí)現(xiàn)這些文字的定位和精準(zhǔn)識(shí)別。相信隨著OCR技術(shù)的發(fā)展，以后基于OCR場景識(shí)別發(fā)展起來的各種識(shí)別技術(shù)必然會(huì)給我們的生活帶來更多的便利。

⑧車標(biāo)彎曲字符