基于Darknet網絡和YOLO4的實時電路板故障檢測算法

趙 巖，孔祥偉，馬春斌，楊 浩

（1.國營長虹機械廠，廣西 桂林 541003；2.北京鈦航信息技術有限公司，北京 100195）

0 引言

隨著現代電子集成技術的快速發展，復雜裝備中核心的系統功能已經通過大規模集成電路進行實現，且電路板上元件越來越密集，電路也更加復雜。一方面使用集成電路技術使得裝備在精密化、小型化、計算能力上有了顯著的提升；另一方面，電路板出現故障以后往往很難進行檢測，也伴隨著裝備突發失效的風險。電子設備維修保障中，集成電路執行的功能越來越重要，快速識別和檢修故障是至關重要的步驟。隨著印制電路板的密集化和多層化，傳統的接觸式電路板檢測技術的各種限制和缺陷變得越來越明顯，不但需要接觸式檢測，而且只能發現已經出現的故障，對于潛在的故障難以診斷。傳統的接觸式電路板故障檢測在微波、毫米波等高頻電路中檢測時，使用接觸式檢測可能會導致在檢測時影響到電路分布參數，影響原來的電路工作，所以接觸式檢測不能適用于高頻電路的檢測。除此之外，接觸式電路板檢測需要對電路板進行拆卸和組裝，這可能會增加故障的概率。接觸式檢測需要使用探針進行接觸，這可能會對電路板造成損傷，需要對每個測試點進行測試，測試時間較長。隨著電子設備的不斷發展，接觸式電路板檢測技術的局限性越來越明顯，需要研究新的非接觸式電路板檢測技術。

近些年來，國內外對電路板故障診斷技術的研究力度逐步加大，主要側重在使用機器學習方法來實現故障診斷模型。其中，周金祖［1］等提出基于改進隱馬爾科夫模型的電路板故障診斷算法，并引入遺傳算法訓練模型的參數，克服了傳統算法的收斂速度慢、易陷入局部最優解和運算復雜等缺點，改進后模型的故障預測準確率、收斂速度和收斂穩定性都有明顯改善；郝建新［2］等提出基于SVM 與改進D-S理論電路板故障診斷方法，所提算法可以有效降低各證據體對診斷結論的沖突，增強正確診斷結果的信度顯著提高；王力［3］等提出基于BCL-ASA-BP神經網絡的模擬電路板芯片故障診斷，其提出的方法對芯片故障綜合診斷準確率可達98.35%，較傳統BP 算法提升13.9%。謝永成［4］等提出基于GA-BP 神經網絡的裝甲車輛電路板故障診斷，能夠有效提升裝甲車輛電氣系統電路板故障診斷效率和質量，郝建新等［5］提出了一種由特征提取網絡與關系學習網絡并行構成的可綜合利用溫度序列局部特征及特征間關系的電路板故障診斷模型，實現電路板故障的高準確度診斷。黃威等［6］提出了基于深度學習的機器人電路板自主故障檢測系統，提升模型對細小故障的檢測，精確故障定位。Song等［7］提出一種結合計算機視覺的簡單高效的智能故障診斷方法，有效提取部件的熱故障特征，減少誤診和誤診不足。

隨著深度學習技術的發展及應用，針對圖像識別檢測領域，一些專家也使用深度學習技術進行了相關探索，其中Darknet深度學習框架結合YOLO［8］在圖像檢測方向成果顯著。王輝等［9］研究了基于Darknet和YOLO3的水果圖像識別，所構建模型能夠有效提取水果圖像的不同層特征，與原模型相比不依賴于批量大小，準確率達到95.6%；使用改進的DarkNet-53作為主干網絡的水果目標檢測模型，平均識別精度達到85.91%；李珣等［10］研究了基于Darknet框架下YOLO v2算法的車輛多目標檢測方法，基于YOLOvocRV 模型的車輛多目標檢測方法的檢測率在自由流狀態下可達99.11%，同步流狀態下可達97.62%，阻塞流狀態下可達到97.14%，具有較小的誤檢率和良好的魯棒性。虞滸等［11］針對深度診斷模型較難處理信號緊鄰特征點以及多變工況導致模型診斷精度和泛化性能不足的問題，梅玲玲等［12］研究設計了一種基于深度學習的道路車輛目標檢測系統，簡歷改進的YOLOv4模型處理噪聲干擾信息，減少了模型計算參數量，提高檢測準確性。魏小玉等［13］提出一種基于改進輕量化神經網絡的手勢識別方法，檢測準確度較整體提升2.62%，達到了96.18%。段中興等［14］針對盲道障礙物檢測提出改進YOLOv4算法，提高檢測準確。牛振振等［15］提出了基于YOLOv5s的一個輕量型的CNN 模型YOLO＿AD，用于PCB缺陷檢測，減少模型參數量的同時加大對細節特征的提取，提升了識別率。侯玥等［16］提出一種新的小樣本目標檢測模型。謝黎等［17］提出一種基于改進YOLOv4網絡的電路板元器件缺陷檢測方法，對電路板上的不同元器件進行識別。何國忠等［18］提出了一種基于卷積神經網絡的電路板缺陷檢測網絡，基于YOLO v4網絡加入全局注意力機制，提高了對PCB 電路板缺陷檢測的精度。崔俊佳等［19］提出了基于YOLOv5s加ResNet18的自沖鉚接偏鉚缺陷檢測算法，對所提供的數據測試集的識別準確度達到100%。本文基于格拉姆角場（GAF）和DarkNet-53圖像識別算法提出GAF-DarkNet算法，對滾動軸承故障診斷具有更好的泛化能力和識別效果。

綜上所述，針對電路板故障診斷問題，使用基于圖像的人工智能方法來提高電路板診斷識別率已經成為主流的研究方向，本文在此研究基礎上，研究重心側重在實時電路板故障檢測工程應用角度，將采用以紅外和可見光結合的圖像處理與分析方式，通過特征提取能力更強的深度學習架構來進一步提高電路板故障診斷能力，并依托于非接觸式的方式，能夠基于視頻流進行實時的故障診斷，在工程應用上更具備可行性。核心優化點包括：

1）構建完備的缺陷電路板圖像樣本數據集，并經過圖像增強技術提高樣本豐富度和規模，為深度學習大批量訓練提供數據基礎；

2）引入更先進的Darknet框架和YOLO4算法來實現電路板元器件的精確目標檢測；

3）采用紅外成像和可見光結合的形式，對圖像進行配準后，以紅外溫度指標作為異常表征，并反向確定故障的元器件。

1 數據集說明

本算法樣本圖像采集使用海康威視MV-CE120-10UC工業相機，成像像素1 200 萬，搭配海康威視 MVLHF0824M-10MP工業相機鏡頭，光源為環形面光，采集到的圖像為bmp格式。為提高數據樣本量，以及豐富不同場景的數據樣本，采集了多種規格的電路板圖像。

樣本中的電路板缺陷為完整電路板人為制造，元器件識別樣本為完整電路板。樣本采集過程中保存同一塊電路板不同位置、不同角度的圖像，同時針對同一種類的不同電路板，對圖像進行翻轉、裁剪、旋轉、縮放、平移和添加噪聲等操作對數據集進行擴展，盡可能增加數據集所覆蓋的情況，提高模型的魯棒性。

樣本標注使用labelImg［9］進行，標注過程如圖1所示。

圖1 使用labelImg進行樣本標注

標注后生成標定數據，即Yolo4 目標檢測算法需要的標注數據，數據組成為：

式中，label為樣本類別序號；place＿x為框選目標左上角X坐標；place＿y為框選目標左上角Y坐標；width為框選目標寬度；height為框選目標高度。

以上數據均進行歸一化處理，即符合Yolo4 訓練所需坐標格式。如圖2所示。

圖2 圖像樣本標注樣式

圖3 元器件目標檢測算法流程

樣本集由訓練樣本和樣本標注數據組成，即樣本圖片＋樣本標注數據，命名方式根據樣本圖片的命名，即訓練樣本名稱和標注數據名稱相同。訓練樣本圖片與標注數據放于同一級目錄中以便算法讀取。驗證集從標注樣本后的樣本中選取，選取比例：

2 算法介紹

2.1 檢測算法

元器件目標檢測是電路板故障定位的核心，本算法以Darknet深度學習框架作為基礎，使用YOLO4目標檢測算法，具有更好的分層特征提取、學習能力和特定硬件環境下實時高效處理大規模數據的能力，能更好地滿足基于機器學習的紅外圖像故障檢測算法系統對識別精度和實時性的要求。

首先設計并搭建基于深度學習的目標檢測識別模型，以數據為驅動，數據越完備，模型學習到的目標檢測識別能力的泛化性越強。模型具有較高的特征提取、學習、處理大規模數據的能力，能更好地滿足基于機器學習的紅外圖像故障檢測算法系統對識別精度和實時性的要求。在學習階段，模型迭代輸入小規模數據集中的序列圖像，輸出預測的待識別目標信息，然后計算預測結果與真實標簽之間的損失值，通過梯度反向傳播的方式對模型參數進行迭代優化，挖掘小樣本數據集中包含的輸入圖像序列數據集與待識別目標之間的復雜映射關系，訓練學習過程中采用的數據增強、特征提取模塊設計、學習優化方案等保證了算法模型的泛化能力。在輔助識別階段，實時輸入新采集的序列圖像，模型學習到的檢測識別能力對每一幀圖像中的目標進行識別，給出識別目標的大小、位置、置信度等信息。

2.1.1 模型結構

如圖4所示，基于Darknet＋YOLO4的目標檢測模型采用神經網絡結構，主要包括特征提取主干網絡（CSPDarkNet53）、頸部網絡（Neck Network）和head預測模塊三部分。

圖4 Darknet＋YOLO4的目標檢測模型結構

其中：

1）主干特征提取網絡：CSPDarkNet53作為算法的主干特征提取網絡，由5個CSPNet子模塊組成（對應圖3中的Residual X），充分提取圖像特征后，將后3 個CSPNet模塊提取的不同尺度圖像特征傳入SPP網絡和PANet網絡進行特征融合。

2）頸部網絡：頸部網絡由空間金字塔池化SPP模塊和路徑聚合網絡PANet組合而成。SPP 模塊對特征層進行1×1、5×5、9×9和13×13四種尺度的最大值池化（Max pooling），能有效提高網絡的感受野，更加有效地增加了主干特征的接收范圍，顯著地分離了重要的上下文特征。PANet是在特征金字塔網絡（FPN，feature pyramid network）上添加了一個自下而上的路徑增強結構，避免在傳遞過程中出現淺層信息丟失的問題，對傳入的圖像特征進行反復特征提取，自底而上融合從主干網絡不同特征層提取的特征，形成強定位特征，進一步提高特征提取和定位能力。

3）頭部網絡：Head網絡用于回歸和分類，從頸部網絡輸入三種不同尺度的特征圖，分別檢測小、中、大3種目標，預測層經過處理輸出目標得分、預測錨框尺寸坐標、分類置信度等。

4）模型學習策略：模型損失函數由回歸框預測損失LCIoU、置信度損失LConf、分類損失Lcls三部分，公式如下：

2.1.2 模型訓練

本次訓練采用命令行進行，經過對YOLOv4源碼進行編譯后，使用的訓練命令如圖5所示。

圖5 模型訓練指令

訓練還需對整體文件進行配置，即手動設定data文件。xxx.data文件為目錄文件，包括了權重保存位置（backup）、訓練集序文件地址（train）、驗證集序文件地址（valid）、類名地址（names）、類別數量（classes）。

訓練過程如圖6所示，可以看出，當迭代訓練12 000次后，模型的誤差損失已經降為0.459 7，mAP＠0.5 為99.2%，整體精度能夠滿足目標檢測要求。

圖6 訓練過程

2.1.3 Weights文件篩選

訓練權重文件篩選主要依靠訓練中的Loss曲線和mAP曲線以及對實時保存（每100epoch保存一次）的模型進行單張預測或批量預測進行。

訓練過程中算法會顯示訓練的實時Loss曲線和mAP曲線，每一個epoch 的Loss和每100 個epoch（epoch＞1 000）的mAP會形成曲線圖。若Loss持續下降或成振蕩下降過程，mAP呈上升趨勢為較好的訓練結果。但是為防止過擬合出現，應根據實際情況進行判斷是否停止訓練。

根據實時的保存模型也可對訓練效果進行篩選。使用命令對權重文件進行單張不同圖像（不在訓練集和測試集，單獨采集的圖像）進行預測，通過預測結果對當前模型訓練效果進行判斷。

模型測試時需要關閉cfg中Train下的batch和subdivisions，打開Test下的batch和subdivisions，即使batch和subdivisions都為1。

2.1.4 模型測試

輸入實時采集的圖像之后，模型先將輸入的圖像縮放到固定的尺寸（416×416），然后輸入到特征提取網絡中進行特征提取，經過頸部網絡處理后將輸入的圖像提取成S×S的特征網格。在Head預測模塊，每個網格負責檢測落在格子里的物體，每個格子做以下幾種預測，該網格是否包含物體，包含物體的置信度和包含物體的位置坐標分別是多少。因此，每個小格需要預測的數據維度為B×（1＋4）＋C，其中，B代表每個網格先驗框的個數，C表示要檢測的物體（不包含背景）類別個數，包含每個類別的預測。1表示該網格是否包含物體以及包含物體的置信度得分，4用于預測矩形框的位置坐標。因此，網絡模型最終特征層的大小為S×S×（B×5＋C），也即每個網格包含5個預測值，分別是4個位置坐標和1個置信度。置信度分數反映模型預測的邊界框中是否包含物體，以及其預測的邊界框的準確程度。如果該單元格中不存在目標，則置信度分數為0；否則，置信度分數應該等于預測框與真實值的IoU。實際上，這一步得到的結果并不是真實預測框，還需要對其進行解碼，即用提前預設的先驗錨框寬高對特征層的寬高進行計算，計算真實預測框的公式為：

結合圖7，圖中實線框代表預測框，虛線框代表先驗框，公式中各參數的含義如下：cx和cy代表先驗框中心點所在區域的左上角的坐標，pw和ph代表了當前先驗框的寬和高，bx、by、bw、bh代表預測框的中心點坐標和長寬，tx、ty、tw、th代表模型學習得到的預測框相對于先驗框的偏移量。公式中的σ代表sigmoid函數，作用是將坐標偏移量變換到［0，1］區間，這樣得到的預測框的中心點坐標bx、by會限制在當前區域內，保證一個區域只預測中心點在該區域內的物體，有利于模型收斂。最后，bx、by、bw、bh就是得到最后預測框的中心坐標以及寬高。

圖7 邊界框回歸示意圖

其中，由于不同數據集的先驗錨框尺寸也不盡相同，在實際應用場景中需要根據數據集計算相應的錨框尺寸。本系統采用K-means聚類算法［20］計算錨框尺寸，具體計算步驟如圖8所示。

圖8 K-means算法計算錨框尺寸

最后，解碼之后可能會出現多個高度重復的預測框指向同一個目標的情況，而目標檢測任務中理想的檢測結果應該是和檢測目標一一對應，所以還需要對檢測結果進行“去重”處理，本系統使用非極大值抑制［21］（NMS，non maximum suppression）篩選出一定區域內屬于同一種類的得分最高的預測框，對檢測結果進行“去重”。

2.2 紅外溫度識別

采用在線式監控測溫熱像儀進行視頻拍攝，能夠實時地檢測出電路板的溫度變化。

2.3 圖像配準

為了使可見光圖像與紅外圖像實現配準，配準值采用如下公式計算：

其中：Tx為配準值，LUx為紅外圖像中的框選輪廓外接矩形的左上角坐標x值，Ws為紅外圖像寬，Wb為可見光圖像寬，LU′x為可見光圖像框選輪廓外接矩形。Y坐標配準同理所示。計算出的值為絕對值，根據紅外相機和可見光相機相對位置進行相應正負值設置。結合PCB 板的電路設計和元器件指標的分析，設置合適的溫度閾值，實現了異常發熱元器件的定位。

2.4 故障檢測

經過圖像配準后，通過設定異常溫度閾值的形式，能夠判定溫度異常區域，然后該算法能夠實現視頻流下的元器件自動識別，定位到元器件級短路故障，以及短路故障區域。

3 模型驗證

3.1 整體框架

為驗證基于Darknet網絡和YOLO4的實時電路板故障檢測算法性能，設計算法驗證平臺，主要包括軟件算法和硬件處理平臺，基本組成如圖9所示。

圖9 電路板故障診斷算法系統組成

3.1.1 硬件部分

本系統的硬件部分主要由IRAY-A8-Z3在線式監控測溫熱像儀、MV-CE120-10UC工業相機，配套MVL-HF0824M-10MP鏡頭以及攜有NVIDIA顯卡的工作站構成。

3.1.2 軟件部分

軟件主要功能是實現特定缺陷檢測、元器件識別、異常發熱元器件識別和定位以及斷路區域檢測，并以人機交互的方式實現目標模型、參數的導入和設置以及檢測識別結果的顯示。

3.1.3 各模塊功能簡要說明

1）NVIDIA 顯卡工作站：目前測試到的最低要求Ge-Force 1050。由于構建軟件識別的權重模型需要GPU 進行高速計算，因此軟件使用依賴于NVIDIA 顯卡。

2）測溫熱像儀：采用IRAY-A8-Z3在線式監控測溫熱像儀，使用以太網網絡接口及I／O 信號輸出。

3）工業相機：采用海康威視MV-CE120-10UC 工業相機，配套海康威視MVL-HF0824M-10MP鏡頭，使用USB進行數據傳輸。

4）元器件識別：元器件識別指對PCB 板上電阻、電容、電感等典型元器件進行識別和定位。

5）圖像配準：圖像配準是指紅外圖像和可見光圖像之間的對齊。

6）異常發熱元器件識別：異常發熱元器件識別是指對PCB板上短路引起異常發熱的元器件進行識別和定位。

7）斷路檢測：斷路檢測是指針對元器件斷路引起的PCB板不能正常工作的功能區域進行檢測。

3.2 試驗對象說明

如圖10所示，為被測電路板設計原理圖。電路板有多組電源轉換電路、MCU 控制芯片，串口芯片、多路繼電器控制電路、多路負載及指示燈組成。本電路能夠在串口的控制下，實現不同繼電器的開關閉合控制，從而接通或斷開不同的負載和指示燈。將這些狀態預先定義為正常狀態或某種故障狀態，并通過紅外相機進行拍攝和數據讀取分析，根據紅外成像的原理，在被測電路板元器件正常工作狀態和非正常工作狀態器件發熱不同，紅外成像的溫度顯示顏色不同，來分析出電路板故障位置和故障原因。從而達到演示紅外成像故障診斷原理和驗證紅外成像故障診斷軟件功能是否正常的效果。

圖10 被測電路板設計原理圖

3.2.1 電路板狀態說明

電路板分為4個區域，每個區域通過1路電源控制后面2路負載通斷，正常情況下，電路板上電后每個區域的電源正常工作，一路負載接通狀態，另一路負載斷開狀態。這樣紅外相機測到不同區域正常狀態時溫度適中，短路狀態溫度偏高，斷開狀態溫度偏低。電源無輸出故障時電源區域溫度偏低。

圖11為標識電路板器件布局示意圖，通過串口發送不同指令，使負載處于接通或斷開狀態，從而模擬不同的故障現象。

圖11 電路板器件布局示意圖

3.2.2 被測電路板使用

被測電路板由多組電源轉換電路、MCU 控制芯片，串口芯片、多路繼電器控制電路、多路負載及指示燈組成。本電路能夠在串口的控制下，實現不同繼電器的開關閉合控制，從而接通或斷開不同的負載和指示燈。將這些狀態預先定義為正常狀態或某種故障狀態，并通過紅外相機進行拍攝和數據讀取分析以及紅外成像的原理，根據被測電路板元器件正常工作狀態和非正常工作狀態器件發熱的不同和紅外成像溫度顯示顏色的不同，分析出電路板故障位置和故障原因。從而達到演示紅外成像故障診斷原理和驗證紅外成像故障診斷軟件功能是否正常的效果。

將被測電路板連接線纜上電后，被測電路板軟件界面可通過串口連接被測電路板，并通過發送指令來改變被測電路板工作狀態，從而模擬不同的故障現象，提供給算法系統進行分析，用于驗證紅外故障檢測算法的功能。

4 實驗結果與分析

PCB紅外故障檢測軟件主界面如圖12所示，通過采集實驗對象運行過程中的紅外圖像數據提供給神經網絡中訓練為檢測使用的圖像模型，進而識別出電路板預先設置好的故障。預想中的斷路故障、短路故障和元器件等算法均可正確識別被測對象。將采集實驗對象運行過程中的視頻流，輸入到目標檢測模型中，用于元器件實時定位；并基于紅外圖像識別溫度異常，經過圖像配準后，定位溫度異常元器件，以實現電路板元器件檢測、元器件級短路，以及區域級斷路定位，圖13～17展示了實驗結果。

圖12 PCB紅外故障檢測主界面

圖13 圖像配準實驗結果

通過 MV-CE120-10UC 工業相機及配套的 MVLHF0824M-10MP鏡頭，采用USB3.0獲取待檢PCB 板可見光圖像，然后進行圖像配準，將紅外圖像和可見光圖像之間對齊，如圖13所示。

元器件識別部分，打開待識別的PCB 電路板，開始對PCB板上電阻、電容、電感等典型元器件進行識別和定位，并打印出各種元器件的數量信息，如圖14所示。

圖14 元器件統計實驗結果

斷路檢測針對元器件斷路引起的PCB 板不能正常工作的功能區域進行檢測，根據電路板的位置劃定四個區域，即將整個電路板區域分為平均分為4個小區域，劃定斷路檢測區域，進行檢測。通過紅外相機獲取設定區域的平均溫度，包含最高溫度，最低溫度，使能狀態，平均溫度，相應溫度坐標等。并進行相應的數據處理，用來判定區域是否存在斷路問題，判斷PCB是否斷路的步驟：

1）獲取該區域的5個連續不同平均溫度獲取數量作為判斷的靈敏度；

2）判斷這5個平均溫度是否為依次減小的關系，且第一個平均溫度與第五個平均溫度的差值大于0.3，設置0.3為判定閾值，也可根據具體情況修改；

3）若符合條件，則為斷路，在圖像中畫出區域，清空數據；若不符合條件，清空數據。

按照這個步驟得到的斷路區域檢測結果如圖15所示，并將得到的斷路區域信息打印在主界面右下角，提示區域斷路。

圖15 斷路區域檢測

為方便調試和開發，以及簡化操作步驟，斷路檢測判定以線程方式進行，檢測故障顯示在紅外發熱檢測線程進行，與發熱檢測為順序關系，并通過發熱檢測的標志位進行控制。發熱檢測在進行元器件識別時需要降低資源占用關閉了相機，因此斷路檢測暫停，過程結束后自動恢復。

異常發熱元器件識別對PCB 板上短路引起異常發熱的元器件進行識別和定位，發熱檢測部分需要配置兩組模型，每組參數包括配置文件cfg、data文件和權重，分別載入缺陷模型和元器件模型。采用IRAY-A8-Z3測溫熱像儀，通過以太網和I／O 口高速采集和傳輸紅外圖像和元器件工作溫度。得到紅外圖像中的全局溫度，包含最高溫度，最低溫度、最高溫度坐標（x，y）、最低溫度坐標（x，y），如圖16～17所示。

圖16 發熱檢測（1）

圖17 發熱檢測（2）

實驗表明，預設中的斷路故障、短路故障和元器件等算法均可正確識別被測對象。

5 結束語

本文結合深度學習技術，針對現有的接觸式電路板故障檢測方法存在的問題，提出一種新的實時非接觸式電路板故障檢測方法，即基于Darknet框架和YOLO4的電路板元器件目標檢測算法，該方法結合K-means聚類算法實現元器件的實時定位識別，結合紅外和可見光圖像，根據紅外溫度指標判斷元器件級短路故障以及區域級短路故障，實現實時的電路板故障檢測，具備較好的工程應用效果。

本文研究有利于電路板故障檢測的發展，目前本文針對特定電路板型號得到了良好的預測結果，未來將針對不同型號武器裝備上的電路板進行泛化測試，通過增加樣本種類、樣本規模、故障類型來提高模型的檢測準確度；并優化模型設計，以實現元器件級的短路故障檢測。