基于圖像處理的選針器檢測系統

袁嫣紅，曾洪銘，茅木泉

(1.浙江理工大學 浙江省現代紡織裝備技術重點實驗室，浙江 杭州 310018;2.杭州高騰機電科技有限公司, 浙江 杭州 310018)

圓緯機具有產量高、產品適應性強、生產流程短、經濟效益高等特點，近幾年得到了很大發展。電子選針器是圓緯機實現花色組織的關鍵部件，其工作可靠性和穩定性直接影響提花的準確性，進而影響整臺圓緯機的生產效率和生產質量[1-3]。隨著圓緯機車速的提高，為保證安裝完成后的電子選針器能夠在高速下正常運行，越來越多的企業要求在安裝之前對選購或生產的選針器進行檢驗。

目前，對選針器檢測的方法主要有二大類。第一類研究者主要針對選針器的驅動原理開展檢測研究。因為電子選針器包括電磁選針器和壓電選針器2種：對于壓電陶瓷選針器，基于陶瓷晶片的壓電效應[4]，設計具有電壓反饋的驅動電路實現檢測；對于磁保持式選針器，通過電磁脈沖反饋來實現性能檢測[5-6]。這類檢測方法主要適用于單針檢測。另一類是直接檢測刀頭動作，比如利用頻閃原理檢測選針器[7]，依靠肉眼觀察選針器刀頭運動狀況判斷選針器工作性能，這種人工檢測方法只適合短時間檢驗。

工業視覺測量技術[8](數字近場攝影測量技術)是一種應用計算機技術提取所攝對象，用數字方式表達幾何與物理信息的測量方法，不僅能夠快速便捷地采集數據，且測量成本低，精度高，易于自動化[9]。基于上述情況，本文設計了一套基于圖像識別的選針器檢測系統，選取全局曝光模式的廉價工業相機，視頻采集擺針移動軌跡，圖像分析判斷擺針擺位異常，記錄異常次數及異常圖片，利用普通攝影用暗箱自帶的LED燈作為唯一光源，不受外界環境亮度影響，整套系統可長時間不間斷全自動運行，以較低的成本檢測選針器高速運行的可靠性。

1 系統測試方案

1.1 檢測對象

不管采用何種驅動方式，選針器的刀頭擺動規律基本相同。通常一個選針器具有8把及以上的刀頭，每把刀頭根據選針要求，可在如圖1所示的左、右極限位置上切換。在1個選針周期內，切換時間與整個周期相比較短，切換完成后刀頭靜止在左或右極限位置實現其選針功能。選針器高速運行的穩定性是指圓機正常工作時，選針器刀頭能夠準確準時切換到位。目前，圓機選針速度越來越高，代表國際頂級水平的圣東尼雙面提花大圓機，選針頻率為74 Hz[10]，本文系統設計的檢驗頻率定為100 Hz，其范圍可滿足目前市場上對選針器的檢測要求。

圖1 選針器刀頭擺動示意圖

1.2 測試原理

隨著CMOS傳感器線性度的改善，在光照強度達到飽和以前，相機輸出灰度值可按照式(1)、(2)計算。

y=aH+b

(1)

H=Et

(2)

式中：y為輸出灰度值；a為線性比例，1/(lx·ms)；H為曝光量，lx·ms；b為相機無光照時的輸出[11]；E為影響平面的照度，即單位面積接收到的光通量，lx；t為曝光時間，ms。可見，在灰度達最大值之前，圖像中每個像素的灰度值與曝光時間成正比，因此，選擇合理的光通量和背景時，可通過圖像上某區域的灰度值來判斷物體在該位置的停留時間。

選針器測試實際上是對選針器中各刀頭被驅動后的響應動作的測試。收到選針信號后，刀頭將快速擺動到另一端的極限位置，直至下一次切換信號來臨。

圖2示出正常工作的選針器的擺動時序圖。

圖2 實驗室某選針器擺動時序圖(選針頻率100 Hz)

檢測時選針器連續動作，設定切換周期為T。相機同步連續拍攝，且曝光時間為2次選針時間，即拍攝曝光周期為2T。根據選針原理，刀頭快速擺動后，大部分時間保持在左/右極限位置上。圖2中2個極限位置上的保留時間分別為T減去切換擺動時間(t1或t2)。當選針器出現刀頭不擺動，或擺動不到極限位置，或擺動時間過長等問題時，都會導致刀頭在其中一個極限位置上的停留時間縮短。

通過圖像方法可求出2個極限位置上，由刀頭曝光引起的灰度值H1、H2，根據式(1)、(2)可推導出刀頭在2個極限位置上的停留時間，當停留時間小于允許值時，可判斷選針器擺動失誤。

1.3 檢驗平臺搭建

檢驗平臺主要由工業相機、選針器控制器、被測選針器和計算機組成，見圖3所示。其中工業相機的gige接口通過以太網電纜連接到計算機網口進行數據傳輸，傳輸速率最高可達1 000 MB/s；選針器控制器一方面按照設定的選針頻率輸出選針信號，同時通過一路輸出線與相機的硬件觸發信號輸入端相連，使選針動作與相機曝光同步。采用這種硬觸發的方式，可保證每次曝光開始時間與選針擺動時刻保持同步，滿足長時間測試的要求。

圖3 測試系統示意圖

2 系統硬件選型

2.1 工業相機選型

選針器檢驗系統中，工業相機的選型非常重要，決定了選針器刀頭擺動圖像的質量。與本文系統相關的主要參數為幀率、分辨率、曝光時間范圍、傳感器類型、焦距等。綜合考慮測量要求及性價比，選擇一款黑白工業相機。該相機最高幀率為60 幀/s，最高分辨率1 280像素×1 024像素，傳感器類型為CMOS，快門類型為Global，相機靶面尺寸為 1.24 cm，焦距為25 mm。

2.1.1 分辨率

由于選針器刀頭為非靜物,檢測運動物體的相機視野大小一般為被測物體的1.1～1.2倍[12]，根據選針器刀頭擺動范圍約為42.8 mm×20 mm，相機視野范圍至少為52 mm×24 mm。測量精度確定為0.1 mm/像素(刀頭寬度的十分之一)，則工業相機x方向分辨率至少為52/0.1=520感應面，y方向分辨率至少為24/0.1=240感應面。而所選相機靶面尺寸1.24 cm對應的傳感器尺寸大小為6.4 mm×4.8 mm，寬高之比為4∶3,因此,y方向分辨率至少大于520/4×3=390感應面。為減少誤差，提高系統穩定性，通常至少用 2個像素單位對應1個測量精度值，因此，分辨率大小至少為(520×2)×(390×2)=1 024×780=798 720 dpi, 本文所選相機最高分辨率為1 280×1 024=1.31×106dpi，可滿足實驗需求。

2.1.2 幀率與曝光時間

針對目前選針器的工作要求，系統測試的選針器最高工作頻率為100 Hz。根據上面的原理，2個選針周期拍攝1次,因此，選用拍攝頻率為50 Hz,所選相機最高幀率為60 幀/s，能滿足高速擺動選針器測試的拍攝要求。曝光時間可設置為0～1 s任意值。當確定選針器擺動頻率后，可通過改變曝光時間使每幀圖片正好包含一次完整的選針器刀頭運動軌跡。

2.1.3 快門類型

快門是相機用來控制感光片有效曝光時間的機構，通常分為全局快門(global shutter)與卷簾快門(rolling shutter)。卷簾快門采用逐行曝光方式，會造成不同行像元曝光時間不同，對于拍攝運動物體會存在明顯拖影現象；而全局快門是所有像素點同時曝光，適合與時間相關性要求高的拍攝。本系統選用全局快門模式。

2.2 工業鏡頭選型

2.2.1 焦距計算

系統測試過程中，相機與選針器的距離保持不變，應選用性價比高，畸變小，成像質量好的定焦鏡頭。根據測試系統結構，測得工作距離為180 mm，視野范圍為52 mm×42 mm,型號為1.24 cm，CMOS傳感器長度為8.8 mm,根據式(3)計算得到焦距F=180×8/52=24.615 4 mm，因此，所選焦距至少大于24.615 4 mm。

(3)

式中：WD為物距，mm；X為相機傳感器的尺寸，mm；FOV為相機視野范圍尺寸，mm。

2.2.2 鏡頭有效像場

物體在鏡頭固定區域中產生清晰的像，該區域大小由鏡頭像面尺寸決定。而相機也存在一個靶面區域，大小為相機芯片對角線尺寸，物體只有在這個區域中的信息才能被轉換為有效圖像信號[13]，因此，只有保證所選鏡頭靶面尺寸大于相機靶面尺寸，才能保證采集到完整視場圖像，防止邊緣暗角和黑角等情況。綜上，選擇焦距為25 mm，靶面尺寸為1.43 cm的工業定焦鏡頭。

3 系統軟件設計

計算機中的軟件需要完成相機設置、圖像接收與處理、刀頭動作判斷及結果記錄等工作。采用Python語言進行開發，在geany編譯器中修改并運行程序。圖4為系統軟件流程圖。

圖4 系統軟件整體流程圖

3.1 工業相機初始化

每次曝光開始與選針器動作切換的同步是本系統能長時間實現檢測的基礎，初始化時必須設置好曝光時間與曝光方式。

當系統檢測到相機成功連接時，開始對相機進行初始化操作。其中包括清空上次數據緩存(防止上次的實驗數據置以及錯誤日志保存路徑的設置)。由于實驗檢測的選針器擺動頻率設置為100 Hz，為拍攝刀頭連續2次切換工作情況(即從左極限到右極限切換1次，再從右極限到左極限切換1次)，需將每幀曝光時間設置為與2個選針器擺動周期時長一致，這樣每幀圖像正好包括一個完整左右切換回原點的運動軌跡。同時設置相機觸發模式為外觸發方式，這個外觸發信號由選針器控制器控制，可保證與選針器擺動切換信號同步。相機完成外觸發設置等一系列初始化操作后，開始等待外觸發信號，當相機檢測到控制器發送的上升沿信號時，會抓取該信號，同時開始曝光采集一張圖片，然后根據外觸發函數是否關閉來決定是等待下次外觸發信號還是停止采集圖像。

3.2 相機選針器同步配置

為使相機采集到的每一幀圖片正好對應選針器的2次切換動作周期，需要對相機曝光起始時刻與選針器刀頭擺動起始時刻做一個同步配置。

為連續準確地記錄2個選針周期內的選針刀運動情況，理論上需要設置相機為連續曝光模式，即相機曝光時間等于2個選針周期。相機每一幀包含FOT、Reset、Integrating(曝光)3個操作，如圖5所示。從相機傳感器手冊中查到FOT(幀開銷時間)取決于圖像傳感器和ROI區域，時間為12～24 μs，Reset復位操作時間即為光電二極管復位時間，約為50 μs，因此，相機曝光時間必須少于2T，具體可以通過實際實驗獲得。由于FOT和Reset所占用的時間不到1 ms，只要保證每次開始曝光和選針器刀頭動作的相對位置固定不變，正常工作的刀頭在圖像中灰度分布就保持穩定，因此，選針器動作與相機曝光觸發的同步非常重要。

圖5 全局模式下相機傳感器曝光控制圖

相機開始曝光可采用軟件觸發和硬件觸發2種方式。若采用軟件觸發方式，由于選針器工作和相機動作分別由選針器控制器和計算機2個系統控制，不能做到絕對同步，隨著運行時間的增加，會累積不同步的時間差，因此，本文系統中相機采用硬件觸發方式，由選針控制器完成選針信號和相機曝光觸發信號的發送，消除了不同步誤差的累積。

3.3 圖像處理

以圖2的選針器為例，工作頻率在100 Hz時，1個選針周期內刀頭88.40%的時間是停留在極限位置，因此，只要分析停留極限位置的時間，即1幀圖片中該位置上的灰度值，即能判斷出選針器擺動情況，因此，圖片處理的關鍵內容主要包括選針器刀頭極限位置的確定、極限位置上刀頭灰度值的計算兩大部分。選針器刀頭安裝在選針器罩殼內，每把刀的相對位置是固定的。由于罩殼是一個長方體，其輪廓易于通過圖像處理獲得，因此，完成輪廓線的分析，需準確找出罩殼頂點1和2，結合選針器實際零部件尺寸及安裝位置可以快速求出各刀頭的左右極限位置。

包含刀頭位置信息有效區域的處理過程如圖6 所示。首先，截取圖6(a)中的罩殼分析框3，對該區域圖像選取合適的閾值進行二值化處理，生成該輪廓的最小外接矩形圖，如6(b)中的藍色方框所示；然后，求出輪廓上頂點1和2的位置，再以圖6(b)中頂點1和2的2個點坐標為基準，鎖定包含刀頭位置信息的刀頭分析區域，截取如圖6(c)中的紅色矩形框4。取圖6(c)中的框4，采用Otsu[14]算法進行二值化處理，該方法可以針對圖中的雙峰(刀頭灰度值為一峰，背景值為另一峰)自動計算出用于圖像分割的最佳閾值，再對二值化后的圖片中的白色部分進行圖像形態學處理中的腐蝕運算，采用3×3卷積核，進行 2次迭代運算，去除圖片中的毛刺部分和斑點部分，最后得到圖7所示的純黑白圖。

圖6 刀頭分析區域處理過程

圖7 二值化刀頭圖

從圖7中可看出，每個選針器刀頭在圖中呈接近矩形的不規則圖形，通過Cv2.FindContours函數中的Retr_External模式，對每把刀頭進行檢測并得到每把刀頭的最外層輪廓，然后通過moments函數得到目標輪廓的矩陣，并通過幾何矩求取重心公式來計算出每個圖形的重心坐標。

(4)

(5)

式中：M00為零階矩；M01、M10為一階矩；Xc為重心橫坐標；Yc為重心縱坐標。若重心坐標與極限位置的坐標值一致，則認刀頭位于極限位置。為進一步計算刀頭停留在極限位置的停留時間是否合理，將以此重心為中心，每個像素為單位，在原圖中構造一個5像素×5像素的矩陣，取矩陣內25個像素的灰度平均值作為該刀頭的灰度值，與預先設置的閾值進行比較，確定刀頭在極限位置上的灰度值(相當于停留時間)是否在正常范圍內。如果刀頭正常擺動，則刪除圖片，如果刀頭擺動異常，累計錯誤次數并保存該錯誤圖片，同時記錄錯誤日志保留到指定路徑上的.txt文件上。

3.4 人機交互界面設計

人機交互界面主要分為相機控制區和結果顯示區2個部分，如圖8所示。

圖8 人機交互界面

相機控制包括開始、結束、清除3個按鈕。點擊開始按鈕啟動相機拍攝，點擊結束按鈕停止相機拍攝，點擊清除按鈕則會清空實驗數據。結果顯示區將每把刀頭從左到右編號，顯示過程中每把刀頭錯誤次數，通過點擊清除按鈕可將所有刀頭錯誤次數歸零。

4 系統實驗與分析

4.1 測試原理實驗驗證

為驗證測試原理，將曝光時間設定為200 ms，檢測不同頻率下選針器在靜止和擺動時刀頭的灰度值。按照確定的選針方法，選針器刀頭正常時會在左右2個極限位置停留較長時間，因此，實際檢測到的每幀圖片如圖9所示。在左右兩極限位置處各有1個清晰的刀頭圖像。

圖9 選針器刀頭正常擺動

選針器刀頭發生故障時將出現不擺動，或擺動太慢，導致停留在另一側的時間縮短，對應極限位置的灰度值下降。

圖10示出拍攝的8號刀頭停擺狀態下的圖。2個極限位置一處灰度特別大，而另一處灰度幾乎為零，說明刀頭沒有正確擺動到左極限位置。

圖10 選針器刀頭故障

表1示出200 ms曝光時間下選針器刀頭的灰度值。表中刀頭序號左1和右1，分別代表選針器第1把刀頭在左右2個極限位置的灰度值，其余的依此類推。以第1把刀為例，選針頻率10 Hz時，左右2個極限位置的灰度值分別為103和102，減去背景值的一半(因為選針器在左右2個極限位置停留時間均接近一半拍攝周期時間，所以減去一半背景值)，分別為H1l=103-19×0.5=93.5和H1r=102-20×0.5=92，二者基本接近，說明刀頭在2個極限位置停止的時間基本相同。同時，這2個代表刀頭在左右極限位停留時間的灰度值，接近但小于靜止情況下極限位置灰度值的一半H1=191/2=95.5。這是由于刀頭在2個極限位之間切換，由刀頭引起的灰度有部分分布在2個極限位之間的空間，因此，H1l和H1r均小于H1。隨著擺動頻率的增加，在 200 ms 拍攝周期內刀頭擺動的次數也增加，因此，刀頭停在左、右2個極限位置的灰度值逐漸變小。由此可見，測試系統測出的數據與提出的原理相符合，證實可通過選針器刀頭灰度值來判斷刀頭在極限位置的停留時間，最終實現對刀頭在選定頻率下能否正常工作的判斷。

表1 200 ms曝光時間下選針器刀頭灰度值

4.2 閾值求解

為減少實驗誤差，實驗箱采用了黑色吸光布作為背景，盡量減小背景灰度值對實驗的影響。此時，檢測出的背景值基本為0或1，因此，可忽略背景的影響。采用的相機為8位深度，最大灰度值為255，為盡可能利用相機的深度值，在實驗時調整相機光圈大小，使刀頭靜止時的灰度約為200，則測試時，針對不同的選針器，根據其位移曲線可求得左右極限位置停留時間及對應的灰度值。以此為標準，根據停留時間的允許誤差求出其灰度閾值，作為判斷標準。

本文實驗中選針器刀頭在正常擺動下2極限處的灰度值允許范圍為80～90，因此，將灰度閾值設為80，若其中有一處極限位置的灰度低于80，則說明該選針刀沒有在該極限位置停留足夠時間，視為擺動錯誤。系統將會累計錯誤次數,保存擺動錯誤的圖片，并將錯誤日志保留到指定路徑的.txt文件中。保存的圖片和日志可為測試后的分析提供依據。

4.3 實驗檢測

實驗時，通過選針器控制器，預先編程設置8號刀頭每擺動10 000次停止擺動1次的方式來模擬刀頭發生錯誤的現象，選針器選針頻率設為100 Hz，相機曝光拍攝周期為20 ms，因此8號刀頭錯誤頻率為100 s/次，即每過100 s，8號刀頭累計出錯1次。

記錄100、200、500、1 200、3 000、5 400、7 800、16 900 s記錄的錯誤次數，分別為1、2、5、12、30、54、78、169，經檢驗錯誤次數與預先設置的情況完全一致,證明系統成功實現對刀頭在選定頻率下能否正常工作的檢測。

5 結束語

針對選針器現有檢測手段成本高、自動化程序不夠，不能同時檢測多個選針器等問題，設計了一套以圖像處理為基礎的檢測系統。該系統采用普通幀率的工業相機，視頻采集選針器刀頭移動軌跡，圖像分析判斷刀頭擺動情況,記錄異常次數及異常圖片。實驗時整套系統置于暗箱中，暗箱自帶的LED燈光源，確保不受外界環境影響，可實現長時間全自動檢測。與以往選針器檢測技術相比：1)本文基于圖像的檢驗方式，具有通用性高，適用于任一類選針器的特點；2)完成的全自動、多刀同步檢驗系統，與目前采用頻閃儀，人眼觀察，或全自動，單刀檢測的方法相比，具有省人力，高效率的特點；3)整套系統硬件配置簡單、成本低。設計完成的系統經多次檢測表明，該系統穩定可靠，可方便應用于大批量選針器的性能檢驗。