基于機器視覺的集成電路聲掃圖像缺陷檢測軟件設計*

趙 玥,肖夢燕,邱寶軍,羅 軍,王小強,羅道軍

(工業和信息化部電子第五研究所,廣東 廣州 510610)

1 引言

隨著集成電路產品朝著小型化、多功能、高可靠性及低功耗方向發展,其缺陷檢測和故障分析變得越來越困難。因此,需要一個可靠、有效、便利的診斷系統,對集成電路內部缺陷進行檢測與識別[1]。集成電路缺陷檢測可分為接觸式檢測和非接觸式檢測2種。接觸式檢測方法包括功能性能測試、電測試等,檢測效率低、測試成本高且難以形成自動化模式。非接觸式檢測方法則包括光學視覺測試、X射線檢測以及聲學掃描顯微鏡SAM(Scanning Acoustic Microscope)技術[2]。其中,光學視覺檢測系統是通過將高性能攝像機、光學光源以及圖像處理算力設備相結合,對采集到的集成電路樣品圖像進行檢測識別的系統。這種系統可以有效檢測樣品的外觀缺陷,但是對于集成電路的內部缺陷是無效的[3,4]。基于X射線的缺陷檢測系統則是利用射線照相、分層拍攝和斷層掃描等技術,使用能夠穿透樣品的X射線對集成電路樣品內部結構進行掃描,并生成相關圖像。但是,由于樣品內部的小間隙不會衰減太多X射線能量,因此很難檢測到內部的裂紋等缺陷;且X射線檢測的數據采集和缺陷分析非常耗時,不適合智能化應用[5]。SAM 技術也可用于集成電路封裝的內部缺陷檢測及可靠性分析。它使用大于 20 MHz 的超聲波掃描樣品并收集反射回的超聲波來顯示集成電路的內部構造,并通過不同的掃描方式和成像方法,精準快速地檢測樣品內部的缺陷、形狀和尺寸[6]。利用 SAM 設備的 C 掃描方式就可以顯示并收集集成電路內部的缺陷圖像,為智能化應用提供了數據基礎[7,8]。

目前,面向聲掃圖像缺陷的檢測手段主要以人工目檢為主,存在效率低、自動化程度低,及受人為因素影響較大等問題。因此,本文以 SAM 設備采集的聲掃圖像為數據基礎,設計了基于機器視覺的集成電路聲掃圖像缺陷檢測軟件。該軟件包括圖像處理、圖像檢測、操作管理和用戶管理4個模塊。圖像處理和圖像檢測模塊分別完成集成電路的分層、裁剪預處理和缺陷區域識別任務;操作管理模塊實現圖像數據的錄入、查詢和導出并具備一定的分析統計功能;用戶管理模塊實現角色信息、權限的管理。該軟件系統具有操作簡單、查詢方便、統計直觀等特點,可以協助測試人員和科研人員對集成電路聲掃圖像進行建庫管理,滿足智能化缺陷檢測需求,大幅提高檢測效率。

2 軟件總體架構設計

以基于深度學習的目標檢測模型為理論指導,本文設計了基于機器視覺的集成電路聲掃圖像缺陷檢測軟件。圖1 展示了該軟件的總體架構,從下往上依次為數據層、模型訓練處理層和可視化層。每一層的具體作用如下:

Figure 1 Overall architecture of acoustic scanning image defect detection software based on machine vision

(1)數據層:為整個聲掃圖像缺陷檢測軟件的后端訓練和前段檢測提供數據支撐,主要數據來源為 SAM 設備采集到的圖像。

(2)模型訓練處理層:是整個聲掃圖像缺陷檢測軟件的核心,主要由圖像處理和圖像檢測網絡建模2個模塊組成。

(3)可視化層:主要對軟件的聲掃缺陷結果進行可視化展示,主要包括在線聲掃圖像缺陷檢測可視化展示和離線模型檢測性能可視化展示。前者主要在 Web 端展示檢測結果,后者則是對測試數據集的模型性能結果進行分析統計并進行可視化展示。

基于模塊化的設計思路,基于機器視覺的集成電路聲掃圖像缺陷檢測軟件主要由4個功能模塊構成:圖像處理、圖像檢測、操作管理和用戶管理,具體如圖2 所示。其中,圖像處理模塊完成對原始圖像的分層和裁剪;圖像檢測模塊完成對集成電路圖像的缺陷檢測及結果顯示;操作管理模塊嵌在圖像處理和圖像檢測模塊中,完成圖像上傳、查詢、刪除、顯示、保存功能;用戶管理模塊對角色權限及操作日志進行記錄。

Figure 2 Function partition of acoustic scanning image defect detection software based on machine vision

圖像檢測模塊為整個聲掃缺陷檢測軟件的核心,檢測流程如圖3 所示,各功能單元具體描述如下:

Figure 3 Flow chart of SAM image defect detection module

(1)聲掃圖像缺陷數據獲取:主要數據來源為 SAM 設備。SAM 是利用超聲波對微觀物體進行成像的無損檢測設備,采用脈沖回波技術工作。在C 掃描(C-scan)模式下,SAM 設備可以生成聲學圖像。此時,掃描機需在樣品上方來回做掃描運動,樣品每一點反射波的強度及相位信息均被按順序同步記錄,并轉換為一定灰度值的像素點,顯示在高分辨率顯示屏上。

(2)聲掃圖像預處理與數據庫構建:主要對上一步獲取的原始圖像進行預處理,包括數據篩選、圖像分層和裁剪、數據標注、數據集格式轉換、數據歸一化和數據集劃分等。這部分是整個檢測流程的重點,經過處理后的數據才能夠輸入到目標檢測網絡模型中進行訓練與測試。本文共采集了4類封裝BGA(Ball Grid Array)、QFN(Quad Flat No-leads)、SOIC(Small Outline Integrated Circuit)和 SOP(Small Outline Package),每類封裝模式下 13 款不同的產品,共計 52 款產品的聲掃圖像。此外,本文還篩選出了這些聲掃圖像中具有缺陷的樣本,具體如表1 所示。本文共采集聲掃圖像4 595幅,并從中挑選出936幅具有缺陷的樣本圖像,同時,本文還將數據庫中的所有缺陷圖像分辨率歸一化為 608×608。

Table 1 Distribution of the scanning acoustic image dataset

(3)缺陷檢測模型實現與優化:這部分是整個檢測流程及網絡建模的核心。本文采用PyTorch 深度學習框架建立了4個目標檢測網絡模型,分別為Faster R-CNN(Faster Region-Convolutional Neural Network)[9]、YOLOv4(You Only Live Once-v4)[10]、PP-YOLO[11]及 YOLOx[12],并針對聲掃圖像缺陷的具體網絡模型提出了相關的模型改進及優化方法:在 YOLOv4網絡模型分別采用 SE(Squeeze Excitation)[13]、CBAM(Convolutio-nal Block Attention Module)[14]、ECA (Efficient Channel Attention)[15]3種注意力機制來改善特征學習,以增強網絡提取圖像的能力和特征表達能力,使得感受野更加關注缺陷目標特征而忽略無關特征;在PP-YOLO 中采用K-means算法對聲掃圖像數據集進行聚類分析,以確定錨框的值[16];在 Faster R-CNN 和 YOLOx 算法中采用多尺度訓練、Batch Normalization 及Dropout 等方法對模型進行優化[17,18]。最后,保存訓練結果最優的模型。

(4)基于最優模型的可視化:在這個功能單元中,離線檢測可視化為后端檢測,主要用于評價檢測模型的性能,通過在劃分的測試集上運行最優模型,可視化檢測效果和指標曲線,從而對4種檢測網絡模型進行性能評估;在線檢測可視化為前段測試,主要是軟件調取模型性能測試結構并在界面中顯示缺陷檢測結果。

3 軟件功能實現

3.1 軟件功能實現環境

本文網絡模型生成實驗采用在服務器上搭建訓練實驗環境,并將訓練好的最優模型保存到本地進行測試和部署應用,之后軟件調用模型接口在界面上實現操作應用。因此,本文軟件測試環境分為2個部分:本地服務器訓練測試環境和軟件環境,其配置分別如表2和表3所示。

Table 2 Environment configuration of local server for trainning and testing

Table 3 Configuration of software environment

3.2 檢測軟件功能實現

本節主要介紹聲掃圖像缺陷檢測軟件的主要功能模塊實現,具體分為以下3個部分:圖像處理功能模塊、缺陷檢測功能模塊和可視化界面設計功能模塊。

3.2.1 圖像處理功能模塊

(1)數據篩選。

圖像篩選主要是對SAM 設備獲取到的聲掃缺陷圖像數據進行重復圖像篩選、不含缺陷目標篩選及錯誤圖像篩選。這部分工作可以使圖像數據更加貼合目標網絡的訓練,使檢測能達到預期目標。

(2)圖像分層與裁剪。

圖像分層主要是指對SAM設備獲取到的 TIFF 格式圖像文件進行分層處理,提取每層 C-掃描的圖像。圖像裁剪則是對引線架層面的圖像進行提取和分割,生成多個單一樣本圖像。圖4和圖5分別展示了圖像分層提取的原始圖像及圖像分隔后的單樣本圖像簇。

Figure 4 Original images extracted by image layering

Figure 5 Single sample image clusters after image segmentation

(3)數據標注與格式轉換。

圖像缺陷標注是依靠專業數據標注軟件LabelImg 來實現的,標注信息主要包括目標的缺陷 類別標簽和目標框的坐標信息[12]。圖像轉換則是將 JPG 格式的原始圖像數據轉換為目標檢測網絡可以識別的 Pascl-VOC 格式。圖6展示了缺陷圖像數據標注情況。

Figure 6 Data annotation of defect image

3.2.2 缺陷檢測功能模塊

聲掃缺陷檢測軟件是基于 Faster R-CNN、YOLOv4、PP-YOLO 及 YOLOx 4種目標檢測網絡模型建立的,使用了 PyTorch 深度學習框架。模型訓練過程中,根據 Loss 曲線動態調節參數,使模型收斂更加穩定,與此同時,保存了權重文件及結果。圖7 展示了訓練過程中各網絡的損失函數。

Figure 7 Comparison of visual training loss function curve of each target detection network

如圖7所示,在整個訓練過程中,訓練誤差Loss 曲線隨著各模型訓練次數的增加快速下降,這說明每個模型在聲掃缺陷圖像數據庫上都有很好的收斂效果,也證明了本文缺陷檢測軟件在后端模型設計上是成功的。

3.2.3 可視化界面設計功能模塊

集成電路缺陷檢測軟件的界面作為用戶與檢測系統的交互接口,需要提供對本地系統資源以及相關參數進行配置管理的界面,并負責檢測結果的展示,軟件界面結構如圖8 所示。

Figure 8 Software interfaces

Web端的可視化功能主要是實時展示聲掃圖像的缺陷檢測情況。用戶在瀏覽器 Web 端輸入訪問的 URL 地址,瀏覽器在線實時展示檢測結果可視化界面。具體可分為以下界面:

(1)用戶管理界面。圖8 展示了用戶在瀏覽器地址欄中輸入訪問 URL 地址,瀏覽器返回給用戶的個人登錄主頁。有權限的用戶輸入賬號和密碼登錄系統,隨后頁面跳轉到后臺首頁。

(2)圖像管理界面。該界面包含上傳圖像、查詢圖像、保存圖像等控件,使缺陷檢測軟件具備圖像數據輸入、編輯修改、刪除、輸出等功能。

(3)圖像裁剪界面。該界面包括手動裁剪和自動裁剪功能,并可以通過原圖像名或裁剪后圖像名進行查詢。在界面列表中可顯示文件夾名、圖像名、圖像格式、上傳人及操作時間。在自動裁剪方式下,通過 cmd 調用 Python+OpenCV 實現 6 種不同算法的圖像定位裁剪功能,通過該步驟可將一幅多樣品圖像裁剪為單樣品圖像。確認裁剪后可在界面下方預覽裁剪后的圖像并保存到數據庫中。同時,針對自動裁剪效果不佳的圖像可采用手動裁剪。同樣,通過 cmd 調用Python+OpenCV 對鼠標選中的矩形區域進行裁剪,對于位置排列不均勻的樣品可適當旋轉,不理想的選框可以復位或在下方預覽區刪除,確認的選框可在界面下方預覽裁剪后的圖像并保存到數據庫中。

(4)圖像缺陷檢測界面。該界面包含本文軟件的核心功能。通過調用 Python 目標檢測網絡的預訓練模型(.pth文件),設置相應的檢測閾值進行缺陷區域的識別和顯示,檢測結果可導出。預訓練模型由4種默認的典型目標檢測算法(YOLOx、PP-YOLO、Faster R-CNN、YOLOv4)基于典型集成電路圖像的3種缺陷(引出端分層、連筋分層、基板分層)訓練而成,用戶還可依據該缺陷分類方式修改預留的python接口,以修改或添加預訓練模型。

(5)模型數據分析界面。該界面可以直觀地顯示各種目標檢測算法在集成電路圖像驗證集上完成各類缺陷識別任務的精確率、召回率、平均精確率AP(Average Precision)及平均精確率均值mAP(mean Average Precision)等評價指標。

3.3 檢測設計實現

本文檢測軟件設計時序圖如圖9 所示。首先運行啟動腳本,腳本通過瀏覽器訪問系統

Figure 9 Sequence diagram of software design

本文采用JavaScript進行界面開發,主要負責缺陷檢測系統的數據管理和缺陷檢測任務的執行。圖9還展示了集成電路檢測軟件瀏覽器端、Java服務端以及Python服務端的時序圖。功能包括傳圖像、手動裁剪圖像、自動裁剪圖像及預測4個部分。

4 軟件測試與分析

4.1 測試內容

針對聲掃圖像缺陷檢測軟件的總體構架,本文對軟件進行了功能和性能測試,測試內容如表4所示。

Table 4 Software test module and content

4.2 測試流程

軟件功能測試是為了驗證軟件中各模塊是否滿足檢測需求,并確保軟件功能實現的正確性。測試模塊包括檢測任務模塊和本地數據管理模塊,按照圖8的軟件界面設計和表4所示的測試內容,逐項展開測試。

軟件測試流程如圖10 所示。測試功能包括用戶登錄、圖像輸入、圖像裁剪、圖像輸出、圖像檢測及模型統計。其中,圖像裁剪包括手動裁剪和自動裁剪2個部分,經過裁剪后的圖像一方面可以直接輸出保存,另一方面可以被當作檢測目標進行缺陷檢測。在圖像檢測界面也會提供圖像文件的導入、檢測模型的添加以及相關算法參數的設置,通過對圖像進行檢測得出預測缺陷類型及位置框。模型統計界面共統計了4種網絡模型的AP值和mAP值,并進行了可視化處理。

Figure 10 Flow chart of software function test

4.3 性能測試

缺陷檢測系統性能測試包括缺陷標框定位準確性測試及網絡模型預測準確性測試2部分。對于缺陷標框定位準確性測試,本文使用了Faster R-CNN、YOLOv4、PP-YOLO和 YOLOx 4類網絡模型對聲掃圖像缺陷進行檢測識別,圖11展示了缺陷目標框的檢測結果。

Figure 11 Results of defect detection

為測試缺陷檢測的準確性,本文選取了包含4類封裝(BGA、QFN、SOIC、SOP)模式集成電路的 1 063 幅缺陷圖像,分別設置了基板分層、連襟分層和引線分層作為缺陷類別。通過上述4個檢測模型對聲掃圖像進行缺陷檢測。為了比較不同模型的檢測效果,本文將平均精確率AP和平均精確率均值mAP作為缺陷檢測模型精度的評估指標,其計算公式如式(1)和式(2)所示:

(1)

(2)

其中,N表示所有目標類別的數量;AP表示精確率(Precision)-召回率(Recall)曲線上的精確率對召回率的積分,用于評估檢測模型對某一個類別的檢測效果;mAP是AP值在所有類別下的均值,是針對整個數據集的評估,用于評估檢測算法對所有類別的檢測效果。

由表5中的測試結果可知,每個目標檢測模型都可對聲掃圖像進行較為精確的缺陷檢測,其中,YOLOx 模型在3類缺陷上的檢測精度最高,mAP值達到了 95.81%。

Table 5 Defect detection results of each target detection model

5 結束語

本文基于4種典型的深度目標檢測網絡設計并實現了基于聲掃圖像的缺陷檢測軟件,并詳細介紹了軟件的總體架構和主要功能模塊。軟件不僅實現了本地聲掃樣本圖像數據庫中單幅測試樣本的讀取、裁剪及保存,還通過預存的預訓練模型完成了單幅圖像的缺陷預測以及預測類別、時間、置信度的可視化。最后,完成了本地聲掃樣本圖像數據庫中驗證集樣本缺陷檢測評估指標的可視化。總之,本文提出的檢測軟件能有效地對聲掃圖像缺陷進行實時檢測,為后續工程應用提供了軟件基礎。