



摘 要:
新一代信息技術的高速發展為制造業的轉型與發展提供了機遇,同時也推動了制造質量管理方式的重大變革。本文結合制造業發展實際情況,概述了質量4.0的基本理論及關鍵技術,并進一步探討了質量4.0的實施與落地應用。具體而言,將印制電路板(printed circuit board, PCB)缺陷檢測作為研究案例,設計了基于質量4.0的PCB智能缺陷檢測方案,并提出了缺陷檢測的5個關鍵評價標準;提出的檢測方案可有效幫助PCB制造企業過濾缺陷假點、控制產品良率、獲取缺陷解決建議,并為員工掌握專業檢測技能提供學習和培訓平臺。本文旨在研究質量4.0環境下的智能缺陷檢測及其PCB中的應用,以推動制造業質量管理數字化和智能化轉型。
關鍵詞:
質量4.0; 質量管理; 印制電路板制造; 缺陷檢測; 智能制造
中圖分類號:
F 253.3
文獻標志碼: A""" DOI:10.12305/j.issn.1001-506X.2024.05.21
Intelligent defect detection based on Quality 4.0: a case study of
printed circuit board
LIU Huchen1, LI Ke1, WANG Heming1, SHI Hua2,*
(1. School of Economics and Management, Tongji University, Shanghai 200092, China;
2. School of Materials, Shanghai Dianji University, Shanghai 201306, China)
Abstract:
With the rapid development of information technologies, we can find more opportunities to transform and develop the manufacturing industry, which drives the significant transformation of quality management methods. Based on the actual situation of the manufacturing industry, this work outlines the basic theory and key technologies of Quality 4.0, and further explore the application and implementation of Quality 4.0. Specifically, the printed circuit board (PCB) manufacturing is taken as an example, and design an intelligent defect detection scheme is design during PCB production based on the Quality 4.0 theory. And five key evaluation criteria for defect detection have been proposed. The proposed testing scheme can effectively help PCB manufacturing enterprises filter out 1 defects, control product yield, obtain defect resolution suggestions, and provide a learning and training platform for employees to master professional testing skills. This paper aims to study intelligent defect detection in the Quality 4.0 environment and its application in PCB, in order to promote the digital and intelligent transformation of manufacturing quality management.
Keywords:
Quality 4.0; quality management; printed circuit board (PCB) manufacturing; defect detection; intelligent manufacturing
0 引 言
制造業作為全球經濟競爭制高點,是國民經濟的主體,是立國之本、強國之基。在新一代信息技術的推動下,各國高度重視制造業轉型升級,提出并部署了不同的發展戰略[1-5]。例如,德國于2013年漢諾威工業博覽會提出“工業4.0”戰略[1],等等。
近年來,國內外學者圍繞質量4.0開展了大量研究工作。如Sader[6]等人從質量管理的演變過程和工業4.0背景兩個維度對質量4.0進行了定義。Thekkoote[7]研究了數字化轉型時代有效應用質量4.0需要具備的因素。Liu[8]等人從質量4.0理念、質量4.0實施、質量4.0中的質量管理以及質量4.0的模型與應用4個方面對質量4.0相關文獻進行系統回顧。然而,目前針對質量4.0的研究主要集中在理論探索領域,難以滿足制造業發展的實際應用需求。因此,本文以印制電路板(printed circuit board, PCB)缺陷檢測過程為智能質量管理應用場景,探索如何基于質量4.0理論設計企業應用方案,開展質量4.0的應用研究。
PCB在整個電子信息制造業發揮著“承上啟下”的作用,所有電路或電氣控制的設備或產品都要用到PCB,其質量狀況將影響到電子信息制造行業所有產品的質量與可靠性[9]。2016年以來,我國在PCB產值方面一直保持50%以上的全球份額;2021年,PCB行業的產值規模持續擴大,全球市場份額提升至近60%,產值高達570億美元。但是,目前PCB產業目前仍處于“大而不強”的狀態,高端PCB制造技術在工藝路線、質量控制水平等方面與國外相比需要進一步提升[9]。
通常情況下,PCB生產過程涉及十多道工序,雖然嚴格控制,但無法完全避免線路短路、位置錯位、阻抗不匹配等缺陷的出現。其表現形態相似,種類繁雜,增加了質量控制的難度,還容易導致檢測過程中出現過檢或漏檢等問題[10]。此外,由于PCB缺陷種類繁多,如何針對不同類型的缺陷采取不同的處理方法也是目前企業面臨的難題。基于PCB在電子信息制造行業的重要性以及PCB缺陷處理的復雜性,本文以PCB缺陷檢測為重點,提出基于質量4.0的PCB智能缺陷檢測方案。方案的提出對提高PCB生產線的缺陷檢測效率、加速生產線的升級改造、提升PCB的智能制造水平等具有重要作用。
本文首先概述了質量4.0的理論框架,并對質量4.0支撐技術以及質量管理應用場景進行簡要介紹,然后選取了PCB的缺陷檢測過程為應用場景,設計了基于質量4.0的智能缺陷檢測方案,并提出了缺陷檢測的五個關鍵評價標準。本文旨在通過質量4.0應用研究,促進質量4.0理論與方法在制造業質量管理實踐中落地,推動制造業高質量發展。
1 質量4.0概念
1.1 質量4.0定義與內涵
質量4.0是將新一代信息技術與傳統質量管理實踐深度融合,基于產品全價值鏈開展的質量管理,以數字化、智能化、預測化和大規模個性化為主要特征[2,8]。對于質量4.0,可以基于三維理論模型對其進行描述,如圖1所示。
1.1.1 技術維
技術維體現了質量4.0的技術特征,即數字化、網絡化、智能化。數字化技術為質量4.0打造堅實的數字底座,確保質量管理者所做的每一個決策、每一項質量管理活動都有準確可靠的數據支撐[11]。網絡化技術可支持系統、企業以及產業之間的互通互聯。在微觀上,可實現每一個數據孤島緊密連接與交互,構建端到端的工業物聯網平臺,企業可基于此平臺開展面向產品全價值鏈的質量管理。在宏觀上,可構建企業間的工業互聯網平臺,開展面向供應鏈、產業鏈的質量管理。智能化是質量4.0最顯著的技術特征,人工智能等新一代信息技術作為新一輪產業和技術革命的重要驅動力量,已逐漸成熟并在質量管理場景中落地。質量4.0通過將傳統質量管理方法與新興技術融合,將具備更強大的質量數據分析和質量管理決策能力[12]。
1.1.2 活動維
活動維是指質量4.0為實現質量管理的價值創造與價值優化而采取的質量管理活動,主要包含質量設計、質量檢測、質量監控、質量預測、質量追溯和質量改進。在質量設計活動中,質量4.0利用大數據技術更容易獲得顧客各種明示或潛在的需求,做到充分傾聽顧客的聲音。在質量檢測活動中,質量4.0擁有更強的質量檢測能力:一是檢測的自動化程度、效率更高;二是檢測標準統一、檢測效果穩定;三是可以基于缺陷數據進行智能分析,進而實施質量追溯和工藝優化。在質量監控活動中,質量4.0可實現自動化、智能化的質量監控,按照預先設定的規則和流程對產品的過程及活動進行實時控制與調整。一方面可以節省人力資源,另一方面可提升質量管理系統的整體可靠性[13]。在質量預測活動中,質量4.0可利用人工智能算法對質量大數據進行分析,實現產品的質量預測及設備的預測性維護,相比傳統統計預測方法預測結果更加精準[14]。在質量追溯活動中,質量4.0可基于物聯網和大數據平臺等技術,長時間存儲、管理、應用產品全生命周期的關鍵數據,高效、精準地完成質量問題追溯。在質量改進活動中,質量4.0可以基于質量追溯結果進行工藝優化和質量改進,也可以為傳統質量改進方法引入堅實的數據基礎,避免質量管理過程過度依賴專家的主觀評價,增強質量結果分析與質量管理決策的客觀性[15]。
1.1.3 價值維
價值維表示質量4.0是面向產品全價值鏈的質量管理,包括產品全價值鏈中價值創造的核心環節,即產品的研發環節、生產環節、服務環節[16]。產品研發過程如需求分析、功能測試、產品迭代等非常依賴數據分析。質量4.0除了可以確保產品研發人員高質量地完成各項產品研發任務,還重視數據的質量管理,確保產品研發過程有高質量的數據基礎。質量4.0非常重視制造過程的質量提升,通過對產品質量進行檢測、實時監測及預測性分析,并基于分析結果不斷優化制造過程,保持產品質量水平的同時有效降低企業原材料及人力成本,在生產流程中為企業創造更多價值。此外,質量4.0可有效提升服務質量,例如通過智能問答系統提升產品售后服務質量的同時減少客服人力成本,以及利用人工智能算法實時規劃產品物流配送路徑,以節省物流時間、提升客戶滿意度[17]。
1.2 質量4.0關鍵技術
質量4.0的實施需要一系列技術的支撐。一方面,機器學習和機器視覺技術[18]可以對質量數據和圖像進行分析和處理,幫助快速識別缺陷和異常,進而實現智能質量控制和預測。物聯網技術可以將傳感器和設備連接到互聯網,實現對生產過程中各個環節進行實時監控,對設備的運行狀態和參數進行遠程控制,將不同設備、生產線以及生產數據進行連接和集成[19]。大數據平臺技術可以采集、分析和挖掘大規模數據,識別出質量問題產生的原因和發展趨勢[20]。云計算能夠實現數據的集中存儲和共享,而邊緣計算能夠實現實時的數據處理和快速響應,促進數字化和智能化轉型[21]。
另一方面,在質量4.0環境下,企業的質量管理實踐也面臨著轉型和升級的需求。無線通信技術可以促進企業內部部門間的信息共享與協同,也可以加強企業與供應鏈伙伴之間的協調與合作,從而提高整體供應鏈的質量管理水平。數字孿生技術能夠將實體產品或系統的數字模型與其實時數據相連接,實現仿真和預測。通過可視化技術,質量分析結果可以以圖表、圖形或可視化界面的形式進行智能展示,提供直觀的質量信息,幫助決策者更好地理解和應對問題。區塊鏈可以用于建立可信的質量數據記錄和質量溯源,提高質量管理的可靠性和透明度。
基于以上原因,本文確定了質量4.0的9項關鍵技術,分別是機器視覺、物聯網、大數據平臺、云計算與邊緣計算、機器學習、無線通信、區塊鏈、數字孿生以及可視化技術。
1.2.1 機器視覺
傳感器是一種物理設備,可以將環境變化轉化為數字信號,從而實現對環境信息的測量或感知。機器視覺技術是基于傳感器的一項綜合技術,其利用計算機模擬人的視覺功能獲得圖像后傳送給專用的圖像處理系統,實現目標的檢測[17]。機器視覺技術可以利用圖像處理和模式識別算法檢測、分析、判斷制造過程中的缺陷,對裝配過程進行實時監控和偏差預警與修正,進而提高生產效率,減少人為錯誤出現的概率,確保產品質量的穩定性。將環境變化轉化為數字輸出信號,從而實現對環境的測量與感知[18]。
1.2.2 物聯網
物聯網是一項網絡系統技術,通過利用感知技術和通信技術對物體進行遠程感知、識別、追蹤和處理,實現人、機器和物品之間的互聯互通。物聯網技術是智能制造背景下制造業的新基建,可幫助企業實現對質量信息的全面感知、動態傳輸、實時分析和數據挖掘,在產品生產、制造、檢測及裝配過程中對質量問題快速響應,幫助質量管理者及時識別追溯質量問題,并消除質量問題產生的根源[19]。
1.2.3 大數據平臺
大數據平臺技術是指用于管理、處理和分析大規模數據集的技術體系,旨在處理大規模、高速度和多樣化的數據。大數據平臺技術為質量4.0提供一系列質量數據服務,引導企業啟動數據梳理并用數據驅動質量管理流程優化,同時與可視化技術相結合,幫助質量管理者更好地展示分析結果,拓展質量與質量管理的內涵[20]。
1.2.4 云計算和邊緣計算
云計算通過將計算資源、存儲資源和網絡資源的虛擬化,提供靈活、便捷、可持續的方式獲取計算能力。邊緣計算技術是通過在靠近現場的網絡邊緣側運行處理、分析等操作,就近提供邊緣智能服務。云計算與邊緣計算的協同可有效對海量的質量數據進行處理、分析與計算,緩解云端計算壓力,產生更及時的網絡服務響應,幫助企業建立對產品的快速反應機制,滿足敏捷連接、實時業務等方面的需求[21]。
1.2.5 機器學習
機器學習是指計算機通過模擬人類學習活動,發現數據中的內在規律,從而獲取新的知識與技能,并且可以實現自身的不斷完善[22]。機器學習可應用于產品外觀缺陷檢測、焊接質量檢測、實時質量監控等質量管理活動,通過對海量的質量數據提取數據特征,完成對質量數據的分析。此外,機器學習可與其他技術相結合;如自然語言、知識圖譜、計算機視覺、數字孿生等技術都會用到機器學習。隨著機器學習等人工智能技術的普及運用,智能制造質量管理中存在的模型運算難度大、數據處理速度慢等問題將得到有效解決[23]。
1.2.6 無線通信
以5G技術為主的無線通信技術是質量4.0體系實現全面連接的基礎,具有海量連接、可靠高、時延低等特點[24]。5G技術可以加快海量質量數據上傳速度,確保質量數據傳輸的及時性,提高質量管理效率,其相關的硬件與軟件技術已經成為工業互聯網與智能制造時代的新基建[25]。
1.2.7 區塊鏈
區塊鏈是一種去中心化的分布式網絡數據管理技術,允許多個參與方在沒有中間機構的情況下進行可靠的數據共享。通過區塊鏈的加密算法、訪問控制、隱私保護、入侵檢測等技術,可以保障企業內部質量數據共享的安全性,有效解決企業對質量數據的控制權問題,并利用區塊鏈分布式的特點將其應用于不同產業之間的數據上傳,促進產業鏈的協同質量管理[26-27]。
1.2.8 數字孿生
數字孿生是制造技術、信息技術、融合性技術等交織融合的產物,是一種先進的仿真模擬技術。數字孿生技術利用數字模型和實際物理實體之間的實時互聯,對制造系統、產品以及產品裝配過程的行為進行虛擬鏡像或仿真,實現實時生產管理、設備故障檢測和維護預測分析。這樣的技術能夠在質量管理活動中提供物理設備的完美虛擬映射[28]。
1.2.9 可視化技術
可視化技術是使用圖形、圖像、動畫、交互等方式將數據、信息或概念轉化為可視化形式,從而提升用戶獲取信息能力的技術。在質量4.0全流程中,不僅可以通過可視化技術對質量數據、質量分析結果進行智能展示,實現質量管理活動全流程的實時監測,同時也可以將可視化技術與其他技術相結合,如知識圖譜可視化[29],構建整體質量視角,使得管理者能夠以整體的視角來審視制造過程中的問題和挑戰,做出相應的調整和改善。
2 基于質量4.0的PCB缺陷檢測
2.1 PCB缺陷檢測現狀
作為電子產品的核心組件之一,PCB的質量直接影響著電子產品的性能和使用壽命。隨著科技的不斷進步和市場對更高性能電子產品的需求涌現,產品智能化的趨勢日益明顯,這也使得PCB的設計和布線變得越來越復雜。
目前,在工業生產中所用到的檢測方式有人工目視、功能測試、自動化視覺檢測(automatic visual inspection,AVI)等方法。人工目視法,即操作人員利用顯微鏡等設備人工觀察PCB,找出缺陷問題。這種方法對操作人員經驗要求很高,且容易出現誤檢、漏檢等問題。功能測試法通過測試PCB是否能實現預設功能來判斷故障是否存在。這種方法依賴于生產線上的專業檢測設備,成本較高。AVI法通過機器視覺裝置將拍攝目標轉換成圖像信號,再由圖像處理系統轉變成數字化信號抽取特征進行運算,最終對拍攝結果做出判斷。目前,AVI檢測因成本低、效率高,成為PCB制造業主流的缺陷檢測方法[30]。
通常,PCB缺陷檢測流程如圖2所示,具體包括以下步驟。
步驟 1
PCB成品板經過所有前道工序,進入終檢環節。
步驟 2
通過AVI檢測機臺對PCB成品板進行成像,經過基于灰度計算的傳統視覺算法比對,產生PCB板外觀缺陷圖片。
步驟 3
檢驗員基于缺陷圖片對PCB板進行目檢復判,對于可修復的缺陷進行修復,對于不重要的缺陷作允收處理,對于存在重大缺陷的PCB板作報廢處理。
步驟 4
將缺陷類型與缺陷數量統計分析,匯報前站,進行質量追溯與工藝優化。
目前,PCB缺陷檢測流程存在三大痛點問題。第一,為了保證極低的漏檢率,基于灰度計算的傳統視覺算法對于缺陷的識別往往非常嚴格,因此在檢測的過程中會產生大量的假缺陷點,導致人工復判的工作量非常大。第二,對于缺陷的修復、允收、報廢處理存在理論上的標準,但落地解決方法非常依賴人工經驗。工人的經驗得不到有效整理與記錄,容易流失,最終影響產品故障的解決效率。第三,缺陷的統計需要靠人手動記錄,缺陷分析過程會受到質量管理者主觀判斷的影響[31]。
2.2 基于質量4.0的PCB智能缺陷檢測方案
為解決當前PCB缺陷檢測流程中存在的問題,本文基于質量4.0理論,提出PCB智能缺陷檢測方案。方案分為PCB缺陷數據獲取、缺陷識別以及質量問題追溯3個部分。該方案存在兩類輸入,一是通過AVI平臺獲取PCB圖像作為輸入,由PCB缺陷識別系統判斷并輸出缺陷信息。二是PCB缺陷識別系統的判斷結果作為智能問答系統的輸入,通過缺陷知識圖譜查詢或推理獲取解決方法,最終由智能問答系統組織語言,通過可視化界面輸出。三是用戶向智能問答系統發出提問作為輸入,智能問答系統識別自然語言問題,通過PCB缺陷智能識別系統判斷得到缺陷信息,再由知識圖譜獲得解決方法,通過智能問答系統的可視化界面完成輸出。基于質量4.0的PCB智能缺陷檢測方案結構如圖3所示。
2.2.1 PCB缺陷數據獲取
PCB經過所有前道工序后,作為待檢成品板進入成檢車間。由AVI檢測機臺拍攝PCB照片,通過與模版圖比對獲取PCB缺陷數據,并進行人工復判構建PCB缺陷數據集。具體步驟如下。
步驟 1
傳統視覺算法參數調整。Gerber文件是由Gerber公司所制定,最初用于該公司生產的光學繪圖機的文件格式因其適應電子行業需求而得到廣泛應用,并逐漸發展成為美國電子工業協會(Electronic Industries Alliance, EIA)標準的光繪格式文件。在生產制造環節中,相關部門根據用戶或企業設計部門所提供的Gerber文件進行生產。在質量檢測環節中,可將待檢PCB板型的Gerber文件導入AVI檢測機臺進行解析,獲取該板型的表層位置信息(例如焊盤、油墨、軟板、板邊、孔等),并基于該板型的良品板掃描結果,對PCB表面不同位置區域的顏色參數進行調整,生成Gerber模版圖,用于缺陷對比分析[32]。
步驟 2
PCB缺陷數據集構建。AVI作為一項機器視覺技術,其機臺配有專業電荷耦合器件(charge coupled device, CCD)工業相機清晰拍攝PCB,將成像圖與Gerber模版圖進行比對,基于傳統視覺算法,確定待檢PCB上的缺陷位置(缺陷報點坐標及缺陷所處位置區域)和缺陷大小,輸出缺陷報點信息文件。由于此環節需要確保幾乎零漏檢,因此在步驟1中對傳統視覺算法設置的非常嚴格,這也導致缺陷報點信息文件中存在大量的虛假缺陷點,或符合允收規則的缺陷點,俗稱“假點”。基于報點坐標,對PCB圖像上的缺陷進行裁切,形成缺陷小圖。其次,由人工對大量AVI報點圖片進行復判,從中選取一部分缺陷數據作為訓練數據集和測試數據集。訓練集和測試集均需要盡量覆蓋所有缺陷類型及缺陷形態,且不同類型下不同形態的數據量盡可能均衡。所構建的數據集可存儲在大數據平臺當中,并通過5G技術與物聯網技術上傳至邊緣服務器與云服務器[33]。
2.2.2 PCB缺陷識別
將PCB缺陷數據獲取所得到的數據集上傳到云服務器,對PCB智能檢測模型進行訓練,使用測試數據集進行測試,若模型通過測試,則上線投入使用,反之則繼續進行迭代訓練,最終實現通過PCB照片便可精準判斷缺陷類型。具體步驟如下。
步驟 1
PCB缺陷識別模型訓練。本文在機器視覺與深度學習的基礎上構建PCB缺陷識別模型[34]。首先訓練集通過標注之后對模型進行訓練,依據正負樣本的概率得到預測結果。由于模型訓練占用大量算力資源,因此模型訓練過程發生在企業的私有云服務器集群內,而應用模型推理過程發生在產線的邊緣服務器集群內。
步驟 2
模型迭代與上線。模型訓練完成后,用測試數據集對其測試,若模型滿足指標要求,則可保存后上線繼續測試;若上線后一段時間內,依然滿足指標要求,則可正式投入生產過程使用。若無法通過測試集測試環節,或無法通過上線后的持續測試,則需要對訓練集、測試集、模型及檢出策略進行迭代。迭代方式包括補充數據、訓練集標注復核、更改模型編排、更改缺陷允收處理規則等等[35]。
步驟 3
模型推理結果展示、統計及分析。由AVI機臺產生的缺陷圖片,經過模型的推理后,在客戶端顯示推理結果,包含過濾掉的假點圖片和檢出的真實缺陷圖片。缺陷圖片內顯示缺陷的位置、輪廓與缺陷類型,由一線質量管理人員對照缺陷圖片進行PCB板的檢修。
2.2.3 PCB質量問題追溯
PCB質量問題的追溯主要通過構建PCB缺陷知識圖譜實現,PCB缺陷知識圖譜可以將不同缺陷與其產生的具體原因、檢測方法和修復措施進行關聯。當出現質量問題時,可通過知識圖譜的查詢和分析功能,追溯具體缺陷的原因,并根據PCB缺陷數據情況推薦對應的缺陷改進方法,幫助企業完成對PCB缺陷數據以及相關經驗的積累,書寫企業內部質量管理的“百科全書”,輔助質量管理決策。
知識圖譜旨在描述實體及其關系,從而構成語義網絡圖[36]。所構建的PCB缺陷知識圖譜屬于領域知識圖譜。首先,將PCB缺陷相關數據結構化,進行知識表示。其次,對PCB缺陷數據進行知識融合,消除冗余。再者,將整理后的數據作為數據訓練集對知識推理模型進行關系推理訓練。最后,將知識推理模型與PCB智能檢測模型進行關聯,實現通過獲取PCB缺陷圖像數據便可獲取解決方法。
考慮到PCB缺陷數據的結構和特征,本文采用自底向上的方式構建知識圖譜。具體步驟如下。
步驟 1
知識表示與抽取。構建PCB缺陷知識圖譜時需要處理大量缺陷數據,這些數據可以根據結構類型劃分為結構化、半結構化和非結構化數據。PCB缺陷數據來源主要有三個部分:第一,來源于上述PCB智能缺陷檢測模型中所建立的PCB缺陷數據集。第二,來源于企業內部近年的PCB缺陷維修報告,包含PCB缺陷信息以及歷史維修經驗。第三,來源于網絡的與PCB缺陷相關的開源數據。在海量的PCB缺陷數據中,從型號、缺陷部位、缺陷類型、缺陷面積、缺陷數量、缺陷原因以及維修方法入手,提煉出實體-關系-屬性作為事實的表達方式,將數據轉化為知識,并以三元組的方式存儲,方便后續的檢索和診斷。
構建PCB缺陷知識圖譜的過程中,不同結構的數據需要采用不同的知識抽取技術,以便有效地提取和組織相關知識[37]。對于表格數據、關系數據庫等結構化數據,可以應用規則和模式挖掘技術,發現結構化數據中存在的規律和模式,建立關系型數據庫與三元組的對應關系。對于非結構化數據,如由工作人員手工填寫的PCB缺陷維修報告以及網絡中的相關開源數據,可采用雙向長短期記憶(bi-directional long-short term memory, BiLSTM)網絡和條件隨機場(conditional random field, CRF)結合的神經網絡模型完成實體抽取,即通過BERT(bidirectional encoder representation from transformers)表征詞向量,利用BiLSTM層對數據進行處理,抽取上下文特征,并將其轉化為特征矩陣的形式,最后由CRF模型對特征矩陣進行訓練,以生成最優標簽序列,構建數據集[38]。
步驟 2
知識融合。PCB缺陷數據來源多樣,存在數據冗余的現象。為實現知識融合,可以對不同來源和形式的數據進行清洗、預處理、實體對消歧、關系合并和屬性合并,以形成更具價值和應用性的知識體系。對于與PCB缺陷無關的無效信息,通過設置停用詞表來過濾不相干數據;對于相似表達,通過比較實體之間的特征、屬性或其他關聯信息。確定彼此的相似性,進行對齊和整合[39]。
步驟 3
知識推理是一種基于豐富的實體與其關系數據進行學習總結的重要工具,其目的在于通過邏輯和推理規則從已有的知識中推導出新的結論或信息。推理的有效性和準確性取決于已有的知識和規則,即數據量越大,推理的準確率也會相應提高。但是,企業內部的PCB缺陷知識推理屬于小樣本問題。針對此問題,可采用基于深度學習的混合協同過濾模型作為知識推理模型進行實體間的關系推理,構建完整的三元組。當AVI檢測機臺反饋的PCB缺陷信息或智能問答系統捕捉的關鍵問題不在歷史數據中時,通過知識推理模型對解決方法進行推理,輔助決策判定,縮短決策時間。另外,可以通過協調器將知識推理模型與PCB智能缺陷檢測模型實現交互,兩者共同完成推斷任務[40-41]。
步驟 4
知識圖譜與用戶交互。通過知識圖譜與自然語言處理技術結合構建的智能問答系統,可以實現知識圖譜與用戶之間的智能交互。智能問答系統首先利用自然語言技術識別用戶問題;其次構建查詢語句在知識圖譜中查詢解決方法;最后組織答案并通過可視化界面將解答反饋給提問者[42],解決缺陷問題,同時也可將數據分析結果反饋給質量參數設計相關人員,幫助產品在質量設計環節得到提升。智能問答系統結構如圖4所示。
2.3 檢測方案的評價標準
為評價基于質量4.0的PCB智能缺陷檢測方案,本文確定了漏檢率、過檢率、錯檢率、產品良率和響應率5個關鍵評價標準。
2.3.1 漏檢率
漏檢率即被過濾的缺陷圖片數量/總圖片數量×100%。漏檢指PCB缺陷識別系統未檢測到缺陷,將缺陷圖片當作假點,從而被人工智能模型過濾的情況。由于在最終通過驗證后的檢測流程下,模型過濾掉的假點是不需要質量管理人員進行復判的,一旦有真的缺陷沒有被人工智能模型檢出而是被過濾掉,將跟隨產品流向供應鏈下游,降低出口產品的良率,增加客訴與罰款風險。因此,模型漏檢率要穩定控制在一個極低的水平,且必須低于全人工復判時產生的漏檢率。
2.3.2 過檢率
過檢率即被檢出的無缺陷圖片數量/AVI總圖片數量×100%。過檢指人工智能模型將沒有缺陷的圖片當作缺陷圖片,這種情況的出現是因為操作人員為了降低漏檢率,將缺陷的檢出閾值調整得很低,從而讓過檢圖片內原本不太顯著的缺陷類型達到了檢出標準。過檢率偏高不會影響出口產品的良率,但會為質量管理人員增加大量的工作負擔,降低人工檢修效率。因此,模型需要在保證極低漏檢率的前提下,盡量減少過檢圖片的數量,從質量管理的業務流程中為企業降低人力成本。
2.3.3 錯檢率
錯檢率即按照錯誤缺陷類型檢出的圖片數量/總缺陷圖片數量×100%。錯檢指將圖片中的缺陷檢出,但顯示為其他缺陷類型,通常是因為在訓練集中存在標注上的錯誤,導致人工智能模型產生缺陷類型的混淆。錯檢不會影響漏檢率和過檢率,但會導致缺陷統計數據的偏差,影響質量追溯和質量改進等質量管理活動。因此,需要在訓練集數據質量上嚴格把控,并且設定嚴密的檢出策略,從而確保人工智能模型能將每個缺陷的類型以一個高置信度水平精準識別。
2.3.4 產品良率
產品良率即下游客戶認定的良品數量/總出廠產品數量×100%。智能化的缺陷識別、缺陷分類與缺陷統計分析,為PCB缺陷的處理提供了堅實的數據基礎,其最終目標是實現質量改進和工藝優化。因此,產品良率提升的水平是衡量PCB智能缺陷檢測方案成效的重要指標。
2.3.5 響應率
響應率即單位時間解決缺陷問題數量/單位時間提出缺陷問題數量×100%。所提出的PCB智能缺陷檢測方案不僅可以精確檢測缺陷信息,并且可以通過知識圖譜給出相應的解決方法,做出響應。同時,對于故障缺陷的響應速度也體現了企業的應變能力,因此提出響應率作為衡量方案的整體優化能力的關鍵指標之一。
2.4 應用案例
在大力支持智能制造行業發展的背景下,部分公司已從戰略層面加強新一代信息技術在質量檢測領域中的投入和研究,實現了質量4.0在經濟和社會領域的應用。
目前,一些半導體企業已將提出的智能缺陷檢測方案應用于PCB檢測項目。方案首先通過行業領先的光學技術對PCB表面進行拍攝、采集圖像。其次,針對PCB制造的檢測問題推出定制算法,搭建基于機器視覺和深度學習的PCB缺陷識別模型,對PCB面積估計、缺陷定位、顏色判定和尺寸估計等缺陷的判定進行確認,過濾誤報假點,檢測出真正的缺陷。此外,利用基于BiLSTM-CRF的基礎模型實現PCB缺陷知識圖譜以及智能問答系統的搭建,為工人掌握專業檢測技能提供學習和培訓平臺,為缺陷管理和控制提供指導。最后,建立完整的數據體系和信息共享機制,采用集群部署、集中管理的方式實現數據集中管理,并基于大數據分析和機器學習算法充分挖掘數據價值,實現對PCB質量的準確判斷,指導工藝缺陷的挖掘、定位、改進,助力PCB質量回溯和生產改善,賦能產業轉型升級。
方案支持20余種關鍵性缺陷細分類任務,實現了缺陷漏檢率小于0.01%,過檢率小于1%,錯檢率小于5%,產品良率提升5%~6%,支撐80余機臺1 000 000次/小時圖片檢測請求,人力成本節省約80%。此外,該方案不僅可以應用于PCB缺陷檢測領域,也為其他制造業產品缺陷處理提供參考,如液晶面板缺陷檢測分析、太陽能電池表面缺陷分析等。構建的基于質量4.0的PCB智能缺陷檢測方案能夠有效為質檢工人減負,將其從重復繁瑣的工作中解放出來,轉移到更有價值的工作中。
3 結 論
本文基于質量4.0理論模型及關鍵技術開展了質量4.0環境下智能質量管理的應用研究。首先,對于質量4.0的定義、理論模型及其關鍵技術進行介紹。其次,以質量4.0理念為基礎,針對PCB檢驗流程現狀,從缺陷數據獲取、缺陷識別以及質量問題追溯3個模塊的設計入手,制定PCB智能缺陷檢測方案。此外,方案以漏檢率、過檢率、錯檢率、產品良率以及響應率作為評價標準來檢驗檢測方案的有效性。最后,以某半導體企業為案例,驗證了PCB智能缺陷檢測方案的可行性。結果顯示,方案最終可以實現:① 假點過濾,減少質量管理人員的工作量,降低人力成本;② 缺陷智能化檢測、分類、統計與分析,為開展質量預測、追溯、改進等質量管理活動提供準確客觀的數據;③ 缺陷解決處理效率提升,產品良率進一步提升,出口產品質量水平更加穩定,最終提高客戶的滿意度。
參考文獻
[1] LU Y. Industry 4.0: a survey on technologies, applications and open research issues[J]. Journal of Industrial Information Integration, 2017, 6: 1-10.
[2] 劉虎沉, 王鶴鳴, 施華, 等. 質量4.0: 概念、基礎架構及關鍵技術[J]. 科技導報, 2023, 41(11): 6-18.
LIU H C, WANG H M, SHI H, et al. Quality 4.0: concepts, basic architecture, and key technologies[J]. Science amp; Technology Review, 2023, 41(11): 6-18.
[3] 周濟. 智能制造——“中國制造2025”的主攻方向[J]. 中國機械工程, 2015, 26(17): 2273-2284.
ZHOU J. Intelligent manufacturing——main direction of “made in China 2025”[J]. China Mechanical Engineering, 2015, 26(17): 2273-2284.
[4] SU D, ZHANG L J, PENG H, et al. Technical challenges of blockchain technology for sustainable manufacturing paradigm in Industry 4.0 era using a fuzzy decision support system[J]. Technological Forecasting and Social Change, 2023, 188: 122275.
[5] 劉虎沉, 王鶴鳴, 施華. 智能質量管理: 理論模型、關鍵技術與研究展望[J]. 中國管理科學, 2024, 32(3): 287-298.
LIU H C, WANG H M, SHI H. Intelligent quality management: theoretical framework, key technologies, and research prospect[J]. Chinese Journal of Management Science, 2024, 32(3): 287-298.
[6] SADER S, HUSTI I, DAROCZI M. A review of quality 4.0: definitions, features, technologies, applications, and challenges[J]. Total Quality Management amp; Business Excellence, 2022, 33(9/10): 1164-1182.
[7] THEKKOOTE R. Enabler toward successful implementation of Quality 4.0 in digital transformation era: a comprehensive review and future research agenda[J]. International Journal of Quality amp; Reliability Management, 2022, 39(6): 1368-1384.
[8] LIU H C, LIU R, GU X, et al. From total quality management to Quality 4.0: a systematic literature review and future research agenda[J]. Frontiers of Engineering Management, 2023, 10(2): 191-205.
[9] 何驍, 周波, 沈江華, 等. 國內印制電路板產品失效現狀與改進[J]. 印制電路信息, 2023, 31(4): 55-60.
HE X, ZHOU B, SHEN J H, et al. Failure status of domestic PCB products and suggestions for improvement[J]. Printed Circuit Information, 2023, 31(4): 55-60.
[10] 庹冰, 黃麗雯, 唐鑫, 等. 基于YOLOX-WSC的PCB缺陷檢測算法研究[J]. 計算機工程與應用, 2023, 59(10): 236 -243.
TUO B, HUANG L W, TANG X, et al. Research on PCB defect detection algorithm based on YOLOX-WSC[J]. Computer Engineering and Applications, 2023, 59(10): 236 -243.
[11] DIAS A M, CARVALHO A M, SAMPAIO P. Quality 4.0: literature review analysis, definition and impacts of the digital transformation process on quality[J]. International Journal of Quality amp; Reliability Management, 2022, 39(6): 1312-1335.
[12] YIN S, DING S X, XIE X, et al. A review on basic data-driven approaches for industrial process monitoring[J]. IEEE Trans.on Industrial Electronics, 2014, 61(11): 6418-28.
[13] HU J W, CHEN P. Predictive maintenance of systems subject to hard failure based on proportional hazards model[J]. Reliability Engineering amp; System Safety, 2020, 196: 106707.
[14] ZHANG Y, HUANG Y, SHAO W J, et al. Research on MCVE piston machining and process parameter optimization[J]. The International Journal of Advanced Manufacturing Technology, 2017, 93(9): 3955-3966.
[15] PRASHAR A. Quality management in industry 4.0 environment: a morphological analysis and research agenda[J]. International Journal of Quality amp; Reliability Management, 2023, 40(3): 863-885.
[16] 薛塬, 臧冀原, 孔德婧, 等. 面向智能制造的產業模式演變與創新應用[J]. 機械工程學報, 2022, 58(18): 303-318.
XUE Y, ZANG J Y, KONG D J, et al. Evolution and innovative implementation of industrial model for intelligent manufacturing[J]. Journal of Mechanical Engineering, 2022, 58(18): 303-318.
[17] LIU Y K, GUO L, GAO H L, et al. Machine vision-based condition monitoring and fault diagnosis of machine tools using information from machined surface texture: a review[J]. Mechanical Systems and Signal Processing, 2022, 164: 108068.
[18] TAN H, VAN-DIJKEN S. Dynamic machine vision with retinomorphic photomemristor-reservoir computing[J]. Nature Communications, 2023, 14(1): 2169.
[19] JIANG P Y, CAO W. An RFID-driven graphical formalized deduction for describing the time-sensitive state and position changes of work-in-progress material flows in a job-shop floor[J]. Journal of Manufacturing Science and Engineering, 2013, 135(3): 031009.
[20] 任明侖, 宋月麗. 大數據: 數據驅動的過程質量控制與改進新視角[J]. 計算機集成制造系統, 2019, 25(11): 2731-2742.
REN M L, SONG Y L. Big data: new perspective of process quality control and improvement driven by data[J]. Computer Integrated Manufacturing Systems, 2019, 25(11): 2731-2742.
[21] XIANG Q, XU L, LIU B, et al. Processing anomaly detection based on rough set and support vector machine[J]. Computer Integrated Manufacturing Systems, 2015, 21(9): 2467-2474.
[22] JORDAN M I, MITCHELL T M. Machine learning: trends, perspectives, and prospects[J]. Science, 2015, 349(6245): 255-260.
[23] HABBAB F Z, KAMPOURIDIS M. An in-depth investigation of five machine learning algorithms for optimizing mixed-asset portfolios including REITs[J]. Expert Systems with Applications, 2024, 235: 121102.
[24] XU L D, WANG C, BI Z, et al. AutoAssem: an automated assembly planning system for complex products[J]. IEEE Trans.on Industrial Informatics, 2012, 8(3): 669-678.
[25] HU S, YU B, QIAN C, et al. Nonorthogonal interleave-grid multiple access scheme for industrial internet of things in 5G network[J]. IEEE Trans.on Industrial Informatics, 2018, 14(12): 5436-5446.
[26] CHEN J X, WANG W, ZHOU Y C, et al. Exploiting 5G and blockchain for medical applications of drones[J]. IEEE Network, 2021, 35(1): 30-36.
[27] BHASKAR P, TIWARI C K, JOSHI A. Blockchain in education management: present and future applications[J]. Interactive Technology and Smart Education, 2021, 18(1): 1-17.
[28] KAEWUNRUEN S, LIAN Q. Digital twin aided sustainability-based lifecycle management for railway turnout systems[J]. Journal of Cleaner Production, 2019, 228: 1537-1551.
[29] TANG W Q, YANG Z W, SONG Y Z. Selective interactive networks with knowledge graphs for image classification[J]. Knowledge-Based Systems, 2023, 278: 110889.
[30] SINGH S A, DESAI K A. Automated surface defect detection framework using machine vision and convolutional neural networks[J]. Journal of Intelligent Manufacturing, 2023, 34: 1995-2011.
[31] MALGE P. PCB defect detection, classification and localization using mathematical morphology and image processing tools[J]. International Journal of Computer Applications, 2014, 87(9): 40-45.
[32] WANG C C, JIANG B C, LIN J Y, et al. Machine vision-based defect detection in IC images using the partial information correlation coefficient[J]. IEEE Trans.on Semiconductor Manufacturing, 2013, 26(3): 378-384.
[33] MCGUINNESS B, DUKE M, AU C K, et al. Measuring radiata pine seedling morphological features using a machine vision system[J]. Computers and Electronics in Agriculture, 2021, 189: 106355.
[34] HASSAN F U, NGUYEN T, LE T, et al. Automated prioritization of construction project requirements using machine learning and fuzzy failure mode and effects analysis (FMEA)[J]. Automation in Construction, 2023, 154: 105013.
[35] LUCCHI A, SMITH K, ACHANTA R, et al. Supervoxel-based segmentation of mitochondria in EM image stacks with learned shape features[J]. IEEE Trans.on Medical Imaging, 2012, 31: 474-486.
[36] 馬玉鳳, 向南, 豆亞杰, 等. 軍事系統工程中的知識圖譜應用及研究[J]. 系統工程與電子技術, 2022, 44(1): 146-153.
MA Y F, XIANG N, DOU Y J, et al. Application and research of knowledge graph in military system engineering[J]. Systems Engineering and Electronics, 2022, 44(1): 146-153.
[37] WANG X Y, EL-GOHARY N. Deep learning-based relation extraction and knowledge graph-based representation of construction safety requirements[J]. Automation in Construction, 2023, 147: 104696.
[38] XU Z G, DANG Y Z. Data-driven causal knowledge graph construction for root cause analysis in quality problem solving[J]. International Journal of Production Research, 2023, 61(10): 3227-3245.
[39] WU D, SUN B, SHANG M S. Hyperparameter learning for deep learning-based recommender systems[J]. IEEE Trans.on Services Computing, 2023, 16(4): 2699-2712.
[40] ZEB A, UL-HAQ A U, ZHANG D, et al. KGEL: a novel end-to-end embedding learning framework for knowledge graph completion[J]. Expert Systems with Applications, 2021, 167: 114164.
[41] YANG Y, RAO Y L, YU M H, et al. Multi-layer information fusion based on graph convolutional network for knowledge-driven herb recommendation[J]. Neural Networks, 2022, 146: 1-10.
[42] LIU C, JIANG P Y, JIANG W L. Web-based digital twin modeling and remote control of cyber-physical production systems[J]. Robotics and Computer-Integrated Manufacturing, 2020, 64: 101956.
作者簡介
劉虎沉(1984—),男,教授,博士,主要研究方向為質量工程、可靠性管理、質量4.0理論及應用。
李 珂(1998—),女,碩士研究生,主要研究方向為智能制造情境下質量管理、新一代信息技術在質量管理中的應用。
王鶴鳴(1996—),男,碩士研究生,主要研究方向為質量4.0理論與應用、智能質量與可靠性管理。
施 華(1980—),男,副教授,博士,主要研究方向為智能制造情境下質量管理、質量4.0理論及應用。