基于YOLOv8和大語言模型的危險公示標簽智能識別研究

摘要：文章提出并建立了一套完善的智能識別系統(tǒng)。此系統(tǒng)能夠根據(jù)海關查驗指令及危化品監(jiān)管要求，準確、高效地對危險化學品危險公示標簽的商品標識、象形圖、信號詞、危險說明、防范說明、供應商標識等信息進行自動識別并基于AI智能模型對關鍵信息的準確性和邏輯性進行智能驗核，全面助力相關監(jiān)管工作的順利開展，提升整體監(jiān)管效能與準確性。整體架構(gòu)上，系統(tǒng)分為數(shù)據(jù)層、服務層、應用層以及展示層等多個層級。各層級之間相互協(xié)作、數(shù)據(jù)流轉(zhuǎn)順暢，共同實現(xiàn)系統(tǒng)功能。該系統(tǒng)采用YOLOv8作為目標檢測模型，與Qwen大語言模型相結(jié)合，根據(jù)結(jié)果設計針對性的識別程序，能夠更準確地形成標準結(jié)構(gòu)化輸出結(jié)果。

關鍵詞：智能識別；標簽檢測；YOLOv8；識別系統(tǒng)

中圖分類號：TP183

文獻標志碼：A

0 引言

隨著海關查驗工作以及危化品監(jiān)管需求的日益提升，化學品相關信息的精準、智能識別變得愈發(fā)重要。傳統(tǒng)的人工識別方式效率低且易出錯，難以滿足當下高效、準確監(jiān)管的要求。在此背景下，本系統(tǒng)應運而生，旨在利用先進的技術手段，為海關查驗及危化品監(jiān)管提供有力的技術支持。

1 危險化學品標簽智能識別算法描述

1.1 YOLOv8概述

YOLOv8是一種單階段目標檢測算法，廣泛應用于工業(yè)發(fā)展的各個領域，顯著提高了檢測精度和速度，成為當前最先進的目標檢測算法之一^［1］。YOLOv8采用了精巧的網(wǎng)絡模塊設計，優(yōu)化了主干網(wǎng)絡，采用了更高效的卷積操作，結(jié)合了新的C2f特征提取模塊，增強了對多目標和高密度場景的處理能力。YOLOv8在計算開銷和推理速度方面進行了優(yōu)化，在保持較高精度的同時實現(xiàn)實時檢測。這對于需要快速響應的應用場景至關重要。

1.2 Qwen 大語言模型概述

Qwen是由阿里巴巴集團通義千問團隊研發(fā)的開源大語言模型^［2］。Qwen支持超過29種語言，能夠更精準地執(zhí)行復雜命令，生成超過8K標記的長文本，擅長處理結(jié)構(gòu)化數(shù)據(jù)，如表格和JSON格式內(nèi)容。Qwen具有強大的自然語言處理能力，能夠有效理解和概括文本中的關鍵信息，適用于處理圖像識別系統(tǒng)提取的文字信息、象形圖分類以及公章文字識別等任務。

1.3 本文智能識別算法

本文的智能識別算法包含2個關鍵模型：危險公示標簽的智能識別模型和智能審核模型。

危險公示標簽的智能識別模型的主要任務是自動從危險公示標簽圖像中提取關鍵信息，如商品標識、信號詞、象形圖、危險說明等。為此，本文采用深度學習技術構(gòu)建模型，使用YOLOv8目標檢測模型對表單字段進行定位，隨后利用PP-OCR系列模型識別印刷體文字并進行關鍵信息抽取，利用預訓練的SAM語義分割模型進行圖像分割任務^［3］，提取公章圖像及相關細節(jié)。通過這3種技術，該智能識別算法能夠整合識別結(jié)果，生成結(jié)構(gòu)化的輸出數(shù)據(jù)，為后續(xù)的智能審核提供有力支持。

智能審核模型的主要任務是基于提取的危險公示標簽關鍵信息進行智能審核并給出審核結(jié)果和風險提示。為此，本文選用Qwen大語言模型，該模型具有強大的自然語言處理能力，能夠理解和概括文本中的關鍵信息，用于處理圖像識別系統(tǒng)提取的文字信息、象形圖分類和公章文字信息。具體而言，首先，根據(jù)海關業(yè)務需求和法律法規(guī)，構(gòu)建包含各類規(guī)則和判斷邏輯的知識庫作為模型的基礎。其次，利用監(jiān)督學習方法對規(guī)則進行補充和優(yōu)化^［4］。再次，將輸入單據(jù)類型、概括后的關鍵信息與知識庫中的規(guī)則進行匹配，判斷信息是否符合規(guī)則要求。最后，Qwen大語言模型使用自然語言輸出結(jié)果，根據(jù)結(jié)果設計針對性的識別程序，形成標準結(jié)構(gòu)化輸出結(jié)果，返回業(yè)務系統(tǒng)。模型結(jié)構(gòu)如圖1所示。

2 危險化學品標簽智能識別架構(gòu)設計

本項目的整體設計方案旨在構(gòu)建一個高效、智能且安全可靠的危化品信息識別與管理系統(tǒng)，以滿足海關查驗指令及危化品監(jiān)管要求。整體架構(gòu)上，系統(tǒng)將分為數(shù)據(jù)層、服務層、應用層以及展示層等多個層級。各層級之間相互協(xié)作，共同實現(xiàn)系統(tǒng)功能。

（1）系統(tǒng)底層由服務器、網(wǎng)絡、GPU集群及云平臺相關操作系統(tǒng)支撐，相關應用部署在該環(huán)境中。

（2）基礎層提供了OCR識別、NLP自然語言處理、LLM大模型、機器學習和深度學習等智能識別和自動審核所需的支撐技術能力組件。

（3）存儲層存儲了業(yè)務所需的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，同時存儲了抽取數(shù)據(jù)模型、標注數(shù)據(jù)、訓練模型數(shù)據(jù)以及系統(tǒng)運行的數(shù)據(jù)。數(shù)據(jù)存儲采用關系型數(shù)據(jù)庫和分布式文件存儲服務。

（4）數(shù)據(jù)與圖譜構(gòu)建層將系統(tǒng)中的原態(tài)數(shù)據(jù)進行清洗、轉(zhuǎn)換，根據(jù)知識模型識別數(shù)據(jù)類別形成主題庫。通過知識識別、知識標識、知識融合、知識關聯(lián)、知識集成技術，從數(shù)據(jù)中提取知識最終形成知識圖譜，使用大預言模型為上層應用及服務層提供數(shù)據(jù)支撐。

（5）應用層為業(yè)務應用平臺提供服務和中間件支持。建設各類邏輯服務中間件，如智能識別、語義搜索、智能推薦、輔助決策、圖譜可視化及配置服務等。應用層是各項功能業(yè)務應用功能正常開展的基本單元。

（6）用戶。本系統(tǒng)服務的用戶為海關內(nèi)部用戶。用戶使用移動App端查驗顯示進行危險公示標簽的智能識別和自動驗核服務，在內(nèi)網(wǎng)管理端進行數(shù)據(jù)的管理和查詢服務。

3 AI模型算法開發(fā)設計

3.1 圖像識別技術路徑

通過OCR、目標檢測（YOLOv8）和圖像分割（SAM模型）技術，實現(xiàn)對危險公示標簽中的文字、象形圖及其內(nèi)部文字的全面識別。具體路徑如下。

3.1.1 數(shù)據(jù)準備與預處理

數(shù)據(jù)收集：收集各類危險公示標簽件，包括進出口各類企業(yè)的文件。

數(shù)據(jù)標注：對掃描件中的印刷體文字、象形圖及其內(nèi)部文字進行標注，生成訓練所需的數(shù)據(jù)集。

數(shù)據(jù)預處理：對掃描件進行圖像增強、去噪、二值化等預處理操作，提高識別準確率。

3.1.2 模型選擇與訓練

本文選用YOLOv8模型進行目標檢測，使用標注好的象形圖數(shù)據(jù)集訓練YOLOv8模型，使其能夠準確檢測出圖像中的特定目標。使用SAM進行語義圖像分割并根據(jù)標簽對分割后的圖像進行歸類，調(diào)用象形圖模型進行識別處理。

3.1.3 結(jié)果整合與輸出

將印刷體文字、象形圖位置及其內(nèi)部文字等識別結(jié)果進行整合，生成結(jié)構(gòu)化的輸出數(shù)據(jù)。輸出數(shù)據(jù)可用于后續(xù)的審核服務。

3.2 內(nèi)容審核技術路徑

3.2.1 關鍵信息概括

Qwen大語言模型具有強大的自然語言處理能力，能夠理解和概括文本中的關鍵信息。該模型用于處理圖像識別系統(tǒng)識別出的文字信息、象形圖分類和公章文字信息。

3.2.2 規(guī)則判斷與提示詞

（1）知識庫構(gòu)建。

根據(jù)海關業(yè)務需求和法律法規(guī)，構(gòu)建包含各類規(guī)則和判斷邏輯的知識庫。規(guī)則邏輯可以用自然語言描述。規(guī)則匹配：將輸入單據(jù)類型、概括后的關鍵信息與知識庫中的規(guī)則進行匹配，判斷信息是否符合規(guī)則要求。

（2）提示詞。

設計相應的提示詞，用于指示模型進行規(guī)則判斷處理。

3.2.3 結(jié)果輸出

大語言模型使用自然語言輸出結(jié)果。根據(jù)結(jié)果設計針對性的識別程序，形成標準結(jié)構(gòu)化輸出結(jié)果，返回業(yè)務系統(tǒng)。

3.3 危化品標簽識別模型的構(gòu)建

3.3.1 危化品標簽要素識別分割模型算法訓練開發(fā)

該模型主要對危化品標簽上的各個要素進行精確識別和分割，利用深度學習中的圖像分割技術，對標簽圖像中的每個要素進行邊界檢測和區(qū)域劃分。通過訓練算法，模型能夠?qū)W習到這些要素的特征和分布規(guī)律，從而在測試階段對新的標簽圖像進行自動分割和標注。

（1）標注工作。

依據(jù)危化品隨附單據(jù)樣本數(shù)據(jù)，將PDF格式按頁轉(zhuǎn)換成圖片格式，對圖片格式的安全公示標簽使用labelStudio進行標注，形成訓練數(shù)據(jù)集。

（2）訓練安全公示標簽圖片分割模型。

使用標注數(shù)據(jù)，進行YOLOv8模型的訓練。使用AI算力服務器訓練，Epoch迭代100次，生成訓練后模型best.pt、last.pt。

（3）安全公示標簽模型驗證識別。

將現(xiàn)場采集的危險公示標簽提交進行智能識別，將產(chǎn)品標識、象形圖^［5］、危險說明、防范說明、供應商標識等不同部分的信息分別在不同區(qū)域以合適的格式（文字、圖片等）呈現(xiàn)，方便使用者一目了然地查看各項關鍵內(nèi)容。

3.3.2 危化品標簽各要素圖片OCR識別模型算法

該模型的主要功能是對危化品標簽上的文本信息進行光學字符識別（Optical Character Recognition，OCR）。它利用深度學習中的OCR技術，對分割出的文本圖像進行字符識別和文本提取。通過訓練算法，模型能夠?qū)W習到文本圖像中字符的布局、大小、字體等特征，從而實現(xiàn)對文本信息的準確識別^［5］。該模型對于提取標簽上的化學品名稱、編號、警告語等關鍵文本信息具有重要意義。

4 危險化學品標簽智能識別系統(tǒng)業(yè)務流程

危險化學品標簽智能識別系統(tǒng)的業(yè)務流程涵蓋數(shù)據(jù)采集、預處理、特征提取、分類、品類確認、智能驗核及智慧展示等關鍵環(huán)節(jié)。該系統(tǒng)通過集成多種技術手段，確保危化品標簽信息的準確識別和高效處理。

4.1 數(shù)據(jù)采集流程

工作人員根據(jù)現(xiàn)場需求選擇合適的移動終端設備的攝像頭或掃描功能，進行危險化學品標簽的拍攝或掃描操作，以獲取標簽圖像及其相關的文字信息。

4.2 數(shù)據(jù)預處理流程

預處理模塊首先進行數(shù)據(jù)格式的校驗和清洗，去除圖像中的噪聲及干擾信息，對其中的文字信息進行編碼轉(zhuǎn)換、錯誤糾正等操作，確保數(shù)據(jù)質(zhì)量得到優(yōu)化，根據(jù)預設規(guī)則對數(shù)據(jù)進行標準化處理。

4.3 特征提取流程

系統(tǒng)采用文字識別模型和圖像識別模型對預處理后的數(shù)據(jù)進行深度分析。針對危化品標簽上的關鍵元素，系統(tǒng)精準提取出具有決定性影響的文字和圖標特征。隨后，系統(tǒng)依據(jù)業(yè)務邏輯對這些特征進行分類并建立嚴謹?shù)年P鍵詞對應關系，形成特征集合。

4.4 特征分類流程

系統(tǒng)將依據(jù)提取的特征集合，結(jié)合特征的位置信息及預設的內(nèi)容關鍵詞等多維度因素，自動進行初步的特征分類。分類結(jié)果完成后，現(xiàn)場工作人員將進行人工確認。

4.5 確認品類流程

系統(tǒng)依據(jù)特征分類的結(jié)果提取相應的產(chǎn)品標識信息并與業(yè)務數(shù)據(jù)庫中的范本信息進行比對。通過匹配產(chǎn)品名稱、CAS號等關鍵指標，系統(tǒng)能夠準確確認危化品的品類。

4.6 智能驗核流程

系統(tǒng)從數(shù)據(jù)庫中提取該品類對應的范本信息，將其與前述特征提取和分類后的信息進行結(jié)合，利用智能算法進行智慧識別和智能判定。系統(tǒng)全面分析危化品相關信息的準確性和邏輯性，判斷信息是否符合要求并最終得出精準的識別結(jié)果。該結(jié)果將被反饋至展示層。

4.7 智慧展示流程

當系統(tǒng)通過智能識別確認品類時，展示層將清晰分區(qū)顯示各類信息。同時，數(shù)據(jù)庫支持持續(xù)錄入新的范本信息，工作人員可以根據(jù)實際情況反饋、調(diào)整和修改系統(tǒng)的匹配標準，以不斷完善數(shù)據(jù)庫，確保展示的信息更加貼合實際應用場景。通過上述流程的緊密銜接和高效協(xié)作，危險化學品標簽智能識別系統(tǒng)能夠提供精準、智能、實時的識別和判斷，支持危化品監(jiān)管和海關查驗等任務的高效開展。

5 結(jié)語

本研究通過綜合應用YOLOv8目標檢測模型和Qwen大語言模型，實現(xiàn)了對危險化學品標簽的自動識別與核查，極大地提升了危化品監(jiān)管的效率與準確性。系統(tǒng)從數(shù)據(jù)采集、預處理到智能識別，再到結(jié)果展示，構(gòu)建了一個多層級的架構(gòu)，確保了數(shù)據(jù)流轉(zhuǎn)的高效性和各環(huán)節(jié)的有序協(xié)作。通過移動終端設備采集標簽信息，系統(tǒng)能夠迅速處理并核對關鍵數(shù)據(jù)，如商品標識、象形圖、信號詞等，有效減少了人工干預與判斷錯誤，確保了危險化學品的準確分類與合規(guī)性驗證。本研究不僅提升了海關查驗與危化品監(jiān)管的工作效率，還在風險防控和安全監(jiān)管上發(fā)揮了重要作用。

參考文獻

［1］曹斯茹，金可藝，陳惠妹.基于深度學習的目標檢測算法研究［J］.中國新技術新產(chǎn)品，2025（1）：1-3.

［2］李佳沂，黃瑞章，陳艷平，等.結(jié)合提示學習和Qwen大語言模型的裁判文書摘要方法［J］.清華大學學報（自然科學版），2024（12）：2007-2018.

［3］王淼，黃智忠，何暉光，等.分割一切模型SAM的潛力與展望：綜述［J］.中國圖象圖形學報，2024（6）：1479-1509.

［4］王思穎.基于深度強化學習的多智能體協(xié)同算法關鍵技術研究［D］.成都：電子科技大學，2023.

［5］盧健，車禮東，郭兵，等.危險化學品安全標簽國家標準與GHS制度要求的比對與分析［J］.標準科學，2021（5）：78-83.

［6］陳麗，任穎.基于OCR識別的民生檔案數(shù)字化管理研究［J］.中國信息界，2024（3）：6-8.

（編輯 王雪芬）

Research on intelligent recognition of hazardous public labeling based on YOLOv8 and large language model

LYU Jian¹， LIU Yanghong^2，3*， ZHU Jinlian¹， ZHANG Yu¹

（1.Nanjing Customs of the People’s Republic of China， Nanjing 210001， China;

2.School of Railway Intelligent Engineering， Dalian Jiaotong University， Dalian 116028， China;

3.Dalian Rolling Stock Co.， Dalian 116045， China）

Abstract：A perfect intelligent identification system is proposed and established， which can accurately and efficiently automatically identify the commodity identification， pictogram， signal word， hazard description， precautionary description， supplier identification and other information of the hazardous publicity label of hazardous chemicals in accordance with the customs inspection instructions and the regulatory requirements of hazardous chemicals， and intelligently verify the accuracy and logic of the key information based on the AI intelligent model， which comprehensively helps the related regulatory work smoothly and improve the overall efficiency and accuracy. The system will comprehensively help the smooth development of related regulatory work and improve the overall regulatory efficiency and accuracy. On the overall architecture， the system will be divided into data layer， service layer， application layer and display layer， etc.， and each layer will collaborate with each other and smooth data flow to realize the system functions together. The system adopts YOLOv8 as the target detection model， combines with Qwen big language model， designs targeted recognition program according to the results， and can form standard structured output results more accurately.

Key words：intelligent recognition; label detection; YOLOv8; recognition system