緯編針織物結構識別中的圖像變形修正

呂唐軍， 龍海如

(1. 東華大學 紡織學院， 上海 201620； 2. 東華大學 紡織面料技術教育部重點實驗室， 上海 201620)

緯編針織物結構識別中的圖像變形修正

呂唐軍1,2， 龍海如1,2

(1. 東華大學 紡織學院， 上海 201620； 2. 東華大學 紡織面料技術教育部重點實驗室， 上海 201620)

為解決緯編針織物自身扭曲以及拍攝過程中鏡頭帶來的透視變形及畸變等對自動識別織物組織的影響，提出對緯編針織物圖像中的扭曲采取投影轉換、基于多項式的局部加權平均轉換等方法來修正。結合手持識別系統開發需要，設計了修正織物組織圖像扭曲所需的相應修正模板，制定了先調整透視變形，然后調整畸變及普通線圈變形的完整修正流程，對針織物自身變形進行了分析并提出了因結構變化而產生變形的修正方案。經實驗證實上述方法對緯編針織物圖像中的透視變形、鏡頭畸變及線圈自身扭曲變形有很好的修正效果。

自動識別； 緯編針織物； 圖像變形； 投影變換； 局部加權平均

Abstract The projection transformation and the local weighted mean conversion method based on polynomial fitting is proposed to correct the deformation of weft knitted loop image, perspective and lens distortion which influences automatic identification accuracy of stitch structure. Combined with the need of the development for hand-held device, the standard templates were designed and feasible correcting process was set. A general scheme correction of the perspective distortion and lens distortion were designed in the paper. The correction scheme for fabric stitch distortion was also discussed. The experiment results showed that the presented approaches have satisfactory effect for distortion correction on weft knitted fabric image.

Keywords automatic identification； weft knitted fabric； image distortion； projection transform； local weighted mean

在應用計算機視覺技術對針織物圖像進行組織結構自動識別時，有很多因素會影響到識別，其中因圖像扭曲、變形而產生的誤判情況比較突出。導致織物圖像扭曲、變形的原因有2個方面：一方面是攝影器材及拍攝問題(鏡頭畸變、透視變形)[1]；另一方面則是針織物自身為達到結構空間力平衡而產生的扭曲變形問題。

長期以來，對于解決攝影器材及拍攝原因導致的圖像扭曲變形的研究很多，遍及醫療[2]、航空攝影，工業自動化控制，文本自動識別[3]等各領域。在解決圖像變形問題上一般采取通過約束平面透視投影,利用相應的變形校正模型將空間直線的投影曲線映射轉換成圖像平面上的直線,從而達到對變形圖像的校正[4]。平面圖像畸變校正研究已經較為成熟，很多研究成果可直接應用于對緯編針織物平面圖像因拍攝原因產生的圖像扭曲修正，尤其是采用標準網格模板、點陣模板方式進行對比修正的方法非常適合用于修正緯編針織物拍攝過程中形成的圖像扭曲，此外利用已知空間點三維坐標來進行校正的方法也適合用于輔助校正[5]。

因自身結構空間力平衡而產生的扭曲變形一直是困擾自動識別針織物組織研究的難題。由于針織物尤其是緯編針織物自身結構的不穩定性，導致即使是在同一塊織物中同一種組織在不同位置出現時也會產生不同的視覺造型。目前國內外對修正因織物自身變形而產生的圖像扭曲的相關研究較少，本文采取以理想緯編針織物結構模擬圖像為標板，結合數字圖像處理方法，通過對模擬、真實組織單元雙向匹配鎖定來解決織物扭曲。本文實驗的織物試樣均用德國Stoll公司CMS502HP電腦橫機生產?？椢飯D像用500萬～1 600萬像素的普通家用數碼相機或手機拍攝。由于本文研究是計算機自動識別緯編針織物組織研究的一部分，主體研究涉及簡易手持自動識別系統的開發，因此本文主要的圖像采集工具均為普通手持拍攝設備，而專業圖像采集設備所拍攝圖像作為參考。

1 緯編針織物線圈扭曲的圖像表現

1.1 緯編針織物線圈自身扭曲變形表現

緯編針織物由線圈串套構成，無論單面還是雙面針織物其單個線圈都不呈現平面形態。從理論角度分析，當緯編針織物處于能量最小狀態，織物的幾何尺寸由此時的線圈形態決定，該狀態下的線圈形態具有相似性，它獨立于組成線圈的紗線的長度和物理性能[6]。由于紗線的彈性，織物在松弛狀態下線圈形態有一定的隨機性，其實際形態與理論模型有一定出入，尤其是密度較小的緯編針織物。圖1示出緯平針織物的線圈形態?？煽吹?，即使編織工藝參數相同，所形成的線圈在外觀形狀上也會出現明顯的不同，而這種差別經過圖像處理后(二值化、細化)會更加嚴重。變形的累加也帶來了橫列、縱行的扭曲。此外，單一組織的緯編針織物還可能存在緯斜問題。

除線圈自身隨機變形外，另一種線圈扭曲變形的原因是同一織物中不同組織間連接轉換過程中線圈受力的不同，如圖2所示的移圈組織。圖中顯示在移圈線圈附近的普通線圈的形狀與遠離移圈線圈的普通線圈形狀有明顯的不同，普通線圈變形程度與離移圈線圈的距離密切相關。

當織物中存在距離較接近的2種不同組織時，中間用于連接的線圈的形態扭曲會更嚴重且變化規律更不明顯。個別情況下織物在經過幾個組織轉換后，縱行與橫列的分布都發生了變化。此外，緯編針織物還存在一些組織因內部結構變化形成的各種與普通線圈形態不同的線圈。在自動識別組織結構過程中，不允許改變此類線圈的形態特征，因此本文研究聚焦在基本組織(平針、羅紋等)的線圈自身扭曲，所有變化組織、花色組織內部的線圈扭曲不在本文討論范圍內。

1.2 由拍攝產生的圖像扭曲表現

由拍攝產生的圖像扭曲的原因主要有2個方面：拍攝角度、鏡頭像差。盡管隨著數碼攝影技術的發展，大多數鏡頭像差在機身圖像處理器或后期軟件中都可進行準確修正，但需要對圖像進行準確標識定位等識別處理時，鏡頭像差的控制與修正還需要做進一步探討。

1.2.1 因拍攝角度產生的圖像變形

在獲取織物圖像時，若拍攝設備與織物平面不平行，拍攝出來的圖像因為拍攝夾角會產生透視變形，圖3示出仰角拍攝時圖像產生的透視變形。

而在手持拍攝過程中，經常發生物平面和像平面不平行。在緯編針織物組織結構自動識別的手持系統研究開發中，拍攝的照片普遍會存在一定的透視變形。

1.2.2 因鏡頭像差產生的圖像變形

因鏡頭產生的像差有：球差、慧差、像散、相場彎曲、色散以及鏡頭畸變。通過采用非球面鏡片、低色散鏡片以及更精確的鏡頭設計可以去除大部分像差，但不可能完全消除所有像差影響。涉及本文研究范圍的像差是鏡頭畸變，根據成像特征可分別定義為枕形畸變和桶形畸變。圖4示出平針織物拍攝過程中形成的桶形、枕形畸變。

當采用非專業鏡頭手持拍攝時，像此類鏡頭畸變會較容易出現。本文將因拍攝產生的緯編針織物圖像扭曲統一稱為攝影扭曲。

2 用于圖像幾何扭曲修正的算法

2.1 多項式映射函數

圖像幾何畸變糾正方法主要分2大類：一類是直接針對鏡頭參數制定修正模型進行修正；另一類則是采取在實拍圖像與預設標準圖像之間建立轉換模型，通過轉換模型對實拍圖像實施插值轉換。第2類方法一般是在需要修正的圖像與預設標準圖像之間對應選擇明顯的特征點作為控制點, 利用幾何校正模型建立待修正圖像與預設標

準圖像之間的映射關系并完成圖像的重建。相應本文研究，設定預設標準圖像的像素位置坐標為(x,y)，待修正緯編針織面料圖像上的像素位置坐標為(x′，y′)。其映射關系可以采用式(1)中的多項式來描述。

(1)

式中：n為多項式的階數，aij和bij是多項式的待定系數，當n=2時，方程可解為

x′=a00+a10x+a01y+a11xy+a20x2+a02y2

(2)

y′=b00+b10x+b01y+b11xy+b20x2+b02y2

(3)

可采用最小二乘方準則來求解，其中設置控制點的個數是按未知數的多少來確定的，如本次采用二次多項式(12個系數)，至少需要12個方程即6個控制點。而在實際工作中控制點的數目往往大于所需要的最少數目。

結合多項式，具體用于投影變換的模型為

(4)

式中：x′、y′為轉換后像素坐標；x、y是轉換前像素坐標；t11、t22是縮放尺度；t12、t21是旋轉量；t13、t23是水平、垂直方向位移；t31、t32是水平、垂直方向的變形量。

2.2 局部加權平均變換

在緯編針織面料圖像修正過程中，發現圖像中各個局部的變形并不一致，因此采用待修正圖像點像素與相應預設標準圖像特征點像素的歐氏距離的歸一化函數作為映射函數的加權值Wi(x,y)來控制變換修正[7]，如式(5)所示。

(5)

(6)

式中：R為標準歐氏距離，Rn是與像素(x，y)相鄰的n個特征點中最遠特征點的距離值。這樣保證了非相鄰的特征點對像素的修正函數沒有影響。利用Wi(x,y)對映射函數作加權平均，可得到相應的修正函數，見式(7)。

(7)

3 緯編針織物圖像扭曲修正

由于緯編針織面料圖像存在攝影扭曲和自身扭曲這2個方面的變形需要修正，而這2種扭曲的成因截然不同，相互間也無法找到關系模型進行聯系，因此必須分別對這2種扭曲進行單獨修正。鑒于自身扭曲為織物結構固有而攝影扭曲為后期疊加形成，所以需先行完成攝影扭曲修正后再進行自身扭曲修正。結合實際操作，整個緯編針織物圖像扭曲修正流程如圖5所示。

3.1 預設修正模板

計算機對圖像進行修正主要通過計算未變形的標準樣品上的特征點與已變形的測試樣品上的對應特征點之間的關系，根據測量、推算出來的關系對已變形的圖像進行修正，因此修正的精度除依賴于轉換模型、算法外，也會受到標準模板影響，選擇合適的標準樣品作為修正模板可以提高修正的速度和準確度。根據圖5所示修正流程，預設快速透視修正模板、鏡頭畸變修正模板和線圈修正模板這3種修正模板?？焖偻敢曅拚０蹇梢詾橐幷狞c、線圖案或網格圖，如圖6所示。

相對快速透視修正模板，用于緯編針織面料圖像鏡頭畸變修正的標準模板則需要更貼近實物情況，這樣做的目的是在提供準確的畸變修正參考之外，同時通過將織物圖像與標準模板圖像進行匹配檢查，確定更多的織物組織信息，為后續的自動識別織物組織做準備。本文研究采用德國Stoll公司的M1_puls軟件繪制的織物效果圖來作為鏡頭畸變修正模板，如圖7所示。

線圈標準模板則采用芒登的三維線圈模型生成，具體效果如圖8所示。由于此模板僅用于快速修正織物圖像中發生自身扭曲的線圈，因此僅保留圈柱和針編弧，忽略沉降弧。

各模板會根據實際織物檢測樣品的具體情況作出調整，以上列出模板僅為較有代表性的。

3.2 修正攝影扭曲

3.2.1 投影變換修正透視變形

緯編針織物圖像中的攝影扭曲主要為透視變形和鏡頭畸變，具體表現如圖3、4所示。在解決透視變形方面，現有研究[8]一般采用仿射變換或投影變換來解決,由于手持拍攝過程有可能出現三維尺度上的變形，因此本文研究選擇采用投影變換，投影變換的關系模型見式(4)，轉換后效果如圖9所示。

從圖9可看到，經過處理后，面料中線圈大小基本均勻一致，橫列與縱行分布平均，整體效果滿足后續計算機自動識別織物組織的要求。

3.2.2 局部加權平均方法修正畸變

已有研究發現采用一階仿射校正局部變形效果不夠理想，而局部加權平均模型在處理圖像中的具有局部化特點且分段線性條件不充分的變形時有較突出的效果。從式(6)可知其算法至少需要設置6對特征點來計算出模型的相關參數，而實際使用中多采用12對控制點進行計算。在控制點分布稀疏的區域，選取的臨近控制點可能距離當前控制點較遠，而遠離該區域控制點的影響將加大，因此產生較大的校正誤差[9]。本文實驗采用15對控制點，根據所需修正畸變的特點，這些控制點分布在圖像接近邊緣的位置,具體如圖10所示。從圖中可看到圖像原存在的明顯桶形畸變已經得到修正，織物橫列與縱行恢復平均分布。控制點選擇及具體修正點的坐標如表1所示。

3.3 修正織物自身扭曲

在完成了攝影扭曲修正后，大多數織物自身扭曲情況也會得到一定的改善，一般情況下已不需再對其進行修正。僅當自身扭曲較嚴重，前期扭曲修正操作無法對其生效情況下，將對此線圈進行單獨修正。修正流程如圖11所示。

控制點坐標修正點坐標xyxy130116148708045614826811766014840088349148202593718497400910742729400105473484540011174888452681098349845202104613484570750103613704448533170108862184533443470833140093226148136

對線圈扭曲修正采用投影變換方式來進行，具體操作與攝影扭曲修正相同。需要注意的是，緯編針織物中許多組織中的線圈變形如移圈后產生的相關線圈變形是不能單純以線圈自身扭曲來判斷的，這些變形必須綜合考慮其成因。

4 結 論

圖像扭曲變形是影響計算機自動識別精度的關鍵因素，具體扭曲變形的成因也非單方面，緯編針織物圖像更是如此。本文提出了分段依次采用投影變換、基于多項式的局部加權平均變換等方法，結合依照不同變形情況設定的標準模板來修正圖像變形，取得了較好的效果。

[1] DEVERNAY F, FAUGERAS O. Straight lines have to be straight: automatic calibration and removal of distortion from scenes of structured environments[J]. Machine Vision and Applications, 2001, 13(1): 14-24.

[2] MELO R, BARRETO J P, FALCAO G. A new solution for camera calibration and real-time image distortion correction in medical endoscopy-initial technical evaluation [J]. Biomedical Engineering, IEEE

Transactions on, 2012.59(3): 634-644.

[3] LU S, TAN C L. The restoration of camera documents through image segmentation[J].Lecture Notes in Computer Science, 2006, 3872: 484-495.

[4] SWAMINATHAN R, NAYAR S K. Nonmetric calibration of wide-angle lenses and polycameras [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2000.22(10): 1172-1178.

[5] SHAH Shishir, AGGARWAL J K. Intrinsic parameter calibration procedure for a (high distortion) fish-eye lens camera with distort ion model and accuracy estimation[J]. Pattern Recognition, 1996, 29 (11):1775-1788.

[6] MUNDEN D. The geometry and dimensional properties of plain-knit fabrics [J]. J Textile Inst, 1959, 50(6): 448-471.

[7] GOSHTASBY A. Image registration by local approximation methods [J]. Image and Vision Computing, 1988, 6(4): 255-261.

[8] FAUGERAS O, LUONG Q T. The Geometry of Multiple Images: the Laws That Govern the Formation of Multiple Images of a Scene and Some of Their Applications [M]. [S.l]: MIT Press, 2004:668.

[9] GOSHTASBY A. Piecewise linear mapping functions for image registration[J]. The Journal of the Pattern Recognition Society,1986,19(6)：459-466.

Image distortion correction on structure identification of weft knitted fabric

Lü Tangjun1,2， LONG Hairu1,2

(1.CollegeofTextiles,DonghuaUniversity，Shanghai201620，China； 2.KeyLaboratoryofTextileScience&Technology,MinistryofEducation，DonghuaUniversity，Shanghai201620，China)

10.13475/j.fzxb.20150105906

2015-01-29

2015-11-19

呂唐軍(1977—)，男，講師，博士生。主要研究方向為針織產品開發及計算機自動識別與控制。龍海如，通信作者，E-mail：hrlong@dhu.edu.cn。

TS 181.8

A