基于大語言模型的汽車故障記錄自動標(biāo)注方法研究

中圖分類號：TP391.1 文獻(xiàn)標(biāo)識碼：A文章編號：2096-4706（2025）12-0092-05

Research on an Automatic Annotation Method of Automotive Fault Records Based on Large Language Models

DAI Yawen， ZHAO Yue，ZHANGLin （Wuhu InstituteofTechnology，Wuhu 241ooo， China）

Abstract： Automotive fault records are the crucial data source for automotive condition analysis.However， the unstructured nature and technical specificitymake thecost of manual annotationhigh.Toaddress this isue，this paperproposes an automatic annotation method based onLargeLanguage Models.The studycombines LLMs with domain-specific knowledge byconstructingspecialprompttemplates toextractandanotatekeydata，suchasfaultyparts，faultstatus，anddagnostictools. Experimentalresultsshow thattheDepSek model，using aFew-shot Prompting templatecombined with industryexamples， achieves the best performance，with an annotation precision of 79.65% ，recall of 84.92% ，and F1 score of 82.20% .This outperforms traditional Deep Learning-based annotation methods bymore than 3% in terms ofF1 score.

Keywords： Large language Model; automotive fault record; automatic annotation; Prompt Engineering

0 引言

車輛故障診斷是汽車維修與質(zhì)量控制的關(guān)鍵環(huán)節(jié)，在診斷過程中，維修人員會詳細(xì)記錄故障信息。這些記錄不僅能反映個體車輛的運(yùn)行狀況，還可以用于統(tǒng)計分析同類車型的常見問題，從而為車輛故障預(yù)防和維修改進(jìn)提供依據(jù)。然而，汽車故障記錄通常為非結(jié)構(gòu)化文本形式，由不同維修人員撰寫，記錄風(fēng)格不統(tǒng)一、表述方式多樣，導(dǎo)致數(shù)據(jù)難以進(jìn)行統(tǒng)一分析。因此，如何從海量且復(fù)雜的非結(jié)構(gòu)化文本中高效提取出結(jié)構(gòu)化信息，實現(xiàn)精準(zhǔn)的統(tǒng)計與分析，已成為一項重大挑戰(zhàn)。

傳統(tǒng)的文本信息抽取方法依賴自然語言處理（NaturalLanguageProcessing，NLP）技術(shù)，包括基于規(guī)則的信息抽取[2-3]和基于機(jī)器學(xué)習(xí)的信息抽取[4]。這些方法在通用領(lǐng)域的信息抽取任務(wù)上取得了一定成功，但通常缺乏對特定領(lǐng)域知識的有效融合，難以適應(yīng)專業(yè)化需求度高的車輛故障分析場景。

隨著深度學(xué)習(xí)技術(shù)的普及，基于神經(jīng)網(wǎng)絡(luò)的序列標(biāo)注模型出現(xiàn)，如卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）[5]、雙向長短期記憶網(wǎng)絡(luò)（BidirectionalLongShort-TermMemory，Bi-LSTM）l和雙向變換器模型（Bidirectional Encoder Representations fromTransformers，BERT）[7等在信息抽取任務(wù)中均具備良好的表現(xiàn)。這類方法的性能往往依賴于訓(xùn)練樣本數(shù)據(jù)的質(zhì)量與規(guī)模。高質(zhì)量樣本數(shù)據(jù)的獲取不僅成本高昂，而且在實際標(biāo)注過程中，可能會受到人為因素的影響，導(dǎo)致標(biāo)注數(shù)據(jù)質(zhì)量不一，這些因素都進(jìn)一步限制了信息抽取模型的效果與性能提升。因此，開發(fā)一種高效且自動化的汽車故障記錄文本標(biāo)注方法，可以減少人工標(biāo)注成本，提升模型的精度和可靠性，對于推動汽車行業(yè)向智能化發(fā)展有重要意義。

近年來，大語言模型（LargeLanguageModel，LLM）在自然語言處理任務(wù)中展現(xiàn)出強(qiáng)大的能力，為自動標(biāo)注非結(jié)構(gòu)化文本提供了新的解決方案[8]。相比傳統(tǒng)方法，基于大語言模型的自動標(biāo)注方法能夠結(jié)合領(lǐng)域知識，通過少量示例或優(yōu)化提示詞（PromptEngineering）生成高質(zhì)量的標(biāo)注結(jié)果，從而減少對大規(guī)模人工標(biāo)注數(shù)據(jù)的依賴，提高汽車故障記錄的結(jié)構(gòu)化提取效率與準(zhǔn)確性。

本研究提出了一種基于大語言模型的汽車故障記錄自動標(biāo)注方法，旨在從非結(jié)構(gòu)化文本中高效提取結(jié)構(gòu)化信息，為汽車行業(yè)故障分析提供高質(zhì)量的標(biāo)注數(shù)據(jù)。具體來說，本研究基于提示工程，采用無樣本提示（Zero-shotPrompting）、結(jié)合行業(yè)示例的少樣本提示（Few-shotPrompting）和結(jié)合行業(yè)知識的鏈?zhǔn)剿季S提示（Chain-of-ThoughtPrompting，CoT）三種策略，建立三種提示模板，評估其對數(shù)據(jù)標(biāo)注質(zhì)量的影響。此外，本研究還對比分析了DeepSeek、ERNIE和Kimi三種大語言模型在汽車故障文本自動標(biāo)注任務(wù)中的表現(xiàn)，以衡量不同模型的標(biāo)注能力和適用性。

最終，通過實驗結(jié)果表明，本文提出的基于大語言模型的汽車故障記錄自動標(biāo)注方法能夠有效應(yīng)用于汽車行業(yè)自動化標(biāo)注任務(wù)。相比于傳統(tǒng)標(biāo)注方法，該方法顯著降低了對訓(xùn)練樣本的依賴，提升了標(biāo)注性能。研究成果可為汽車故障診斷等下游應(yīng)用提供高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)支持，具有一定的實際應(yīng)用價值。

1 自動標(biāo)注方法設(shè)計

本文提出了一種基于大語言模型的汽車故障記錄自動標(biāo)注方法。該方法的核心思想是利用大語言模型強(qiáng)大的文本理解和生成能力，通過設(shè)計提示模板，引導(dǎo)大語言模型自動識別和標(biāo)注汽車故障記錄中的關(guān)鍵信息。方法整體結(jié)構(gòu)如圖1所示。

設(shè)輸入為汽車故障記錄文本 T={w₁，w₂，…，w_n} 其中w表示文本中的第 i 個詞， n 表示詞總數(shù)。目標(biāo)是從文本 T 中自動抽取并標(biāo)注三個預(yù)定義類別的實體信息。預(yù)定義類別為“故障部位”“故障狀態(tài)”和“檢測工具”。考慮到實際故障記錄的多樣性和復(fù)雜性，每一類別的實體在同一文本中可能出現(xiàn)零次、一次或多次，輸出結(jié)果應(yīng)具備可擴(kuò)展性和靈活性。最終輸出為符合JSON規(guī)范的結(jié)構(gòu)化表示，具體定義如下：

1.2 模型選擇

在汽車故障記錄的自動標(biāo)注任務(wù)中，選擇合適的模型是實現(xiàn)高效、準(zhǔn)確標(biāo)注的關(guān)鍵。近年來，大語言模型因其卓越的語言理解與生成能力，已成為自然語言處理領(lǐng)域的重要研究熱點。相比傳統(tǒng)的深度學(xué)習(xí)模型，大語言模型通過大量的預(yù)訓(xùn)練數(shù)據(jù)積累了豐富的語言知識，能夠在無樣本或少量樣本數(shù)據(jù)的情況下進(jìn)行高效的標(biāo)注任務(wù)。

為比較不同大語言模型在汽車故障記錄自動標(biāo)注任務(wù)中的表現(xiàn)，本研究選擇了以下三種大語言模型：

1）DeepSeek是由中國人工智能初創(chuàng)企業(yè)深度求索公司開發(fā)的大規(guī)模生成預(yù)訓(xùn)練模型，具備強(qiáng)大的語言理解與生成能力，能夠處理復(fù)雜的自然語言任務(wù)。該模型采用通過強(qiáng)化學(xué)習(xí)提升大型語言模型的推理能力[9]。

2）ERNIE是由百度公司推出的中文大語言模型，專門針對中文語言環(huán)境進(jìn)行了優(yōu)化，適用于中文文本理解和生成任務(wù)。在技術(shù)上具有多模態(tài)融合、知識增強(qiáng)和大規(guī)模語料預(yù)訓(xùn)練的顯著特點[10]。

3Kimi是由月之暗面公司開發(fā)的基于Transformer架構(gòu)的中文對話生成模型，適用于理解上下文并生成與之相關(guān)的文本。該模型注重多輪對話能力和知識融入機(jī)制，在中文領(lǐng)域自然語言生成、長文本語義分析等任務(wù)中表現(xiàn)良好。

1.3 提示模板設(shè)計

1. 1 任務(wù)定義

本研究旨在從非結(jié)構(gòu)化的汽車故障記錄文本中，自動抽取并標(biāo)注“故障部位”“故障狀態(tài)”和“檢測工具”三類實體信息，將自然語言描述的故障記錄轉(zhuǎn)提示模板微調(diào)是一種輕量級的大語言模型微調(diào)方法，旨在對大語言模型輸入提示進(jìn)行優(yōu)化設(shè)計，讓模型適應(yīng)特定任務(wù)。提示模板作為大語言模型多模態(tài)生成能力核心變量，直接決定大語言模型輸出內(nèi)容的準(zhǔn)確性和有效性，是一種高效的微調(diào)策略[12]。與傳統(tǒng)的模型微調(diào)方法相比，提示模板微調(diào)不需要修改模型參數(shù)或引入大規(guī)模訓(xùn)練數(shù)據(jù)，更適應(yīng)汽車制造業(yè)等非計算機(jī)領(lǐng)域?qū)Ω咝Р渴鹋c低資源依賴的實際需求。

不同于通用領(lǐng)域中的提示模板設(shè)計，本文結(jié)合汽車故障記錄自動標(biāo)注任務(wù)的具體需求，構(gòu)造了三種提示模板，研究不同提示策略對模型標(biāo)注性能的影響。

無樣本提示：即不提供任何樣本示例，直接輸入故障記錄文本，讓模型自主理解記錄內(nèi)容，對記錄中的關(guān)鍵信息進(jìn)行標(biāo)注。本研究提出的無樣本提示模板結(jié)構(gòu)包括任務(wù)指令、故障文本和輸出格式定義三部分。該類提示模板泛化能力強(qiáng)，不依賴人工標(biāo)注數(shù)據(jù)。但由于缺乏樣例引導(dǎo)，模型可能存在理解偏差問題，導(dǎo)致標(biāo)注準(zhǔn)確率波動較大。

結(jié)合行業(yè)示例的少樣本提示：該模板基于語境學(xué)習(xí)（In-ContextLearning，ICL）范式[13]提出，通過提供少量領(lǐng)域特定示例，增強(qiáng)標(biāo)注準(zhǔn)確性。該類提示模板可借助行業(yè)示例使大語言模型在理解任務(wù)結(jié)構(gòu)的同時掌握標(biāo)注邏輯，從而提高標(biāo)注準(zhǔn)確度。本研究選取自制數(shù)據(jù)集中人工標(biāo)注的汽車故障記錄結(jié)果作為提示示例輸入到大語言模型中。該模板適合文本結(jié)構(gòu)穩(wěn)定、術(shù)語規(guī)范的專業(yè)語料，但其性能高度依賴于示例的數(shù)量與代表性，不恰當(dāng)?shù)氖纠x擇可能導(dǎo)致模型過擬合或遷移失敗。結(jié)合行業(yè)示例的少樣本提示模板生成過程如圖2所示。

結(jié)合行業(yè)知識的鏈?zhǔn)剿季S提示：該模板融合鏈?zhǔn)剿季S提示策略，鏈?zhǔn)剿季S提示強(qiáng)調(diào)“先思考，后回答”，適用于推理型任務(wù)。本研究結(jié)合汽車維修知識，構(gòu)造了一種利用遞進(jìn)推理方式的多階段提示模板，引導(dǎo)大語言模型從癥狀識別到故障推測，再到原因分析，最終實現(xiàn)結(jié)構(gòu)化輸出的邏輯構(gòu)建鏈條，提升其輸出的解釋性與精準(zhǔn)性。該類提示模板可以減少錯誤分類，提高行業(yè)適配度和結(jié)果的可解釋性，但使用推理鏈導(dǎo)致提示內(nèi)容較長，會增加計算資源的成本。結(jié)合行業(yè)知識的鏈?zhǔn)剿季S提示生成過程如圖3所示。

2 實驗內(nèi)容與結(jié)果分析

2.1 數(shù)據(jù)集構(gòu)建

本研究從本地具有代表性的汽車企業(yè)中收集共五款燃油車車型的1334條故障記錄數(shù)據(jù)，具備較強(qiáng)的代表性與多樣性。數(shù)據(jù)集構(gòu)建第一步即對原始汽車故障記錄文本進(jìn)行人工清洗，統(tǒng)一文本格式，將記錄中如維修人員姓名、報送時間等無關(guān)要素刪除，僅保留故障部位、故障狀態(tài)等關(guān)鍵內(nèi)容。隨后由三名汽車企業(yè)專業(yè)人員對文本中的故障部位、故障狀態(tài)、檢測工具三類實體進(jìn)行交叉標(biāo)注，為實驗提供評估標(biāo)準(zhǔn)。由于每條故障記錄中可能不止一種故障問題，對應(yīng)實體數(shù)量不固定，因此列出表1展示故障記錄數(shù)據(jù)集具體標(biāo)注情況。

表1數(shù)據(jù)集標(biāo)注情況

2.2 評價指標(biāo)

為評估基于大語言模型的汽車故障記錄自動標(biāo)注任務(wù)的整體效果，本文采用精確率（Precision）、召回率（Recall）和F1值（F1-Score）作為評估指標(biāo)。

實驗評價標(biāo)準(zhǔn)具體計算如式（1） ～ （3）所示。

其中，TP表示正確標(biāo)注了應(yīng)被標(biāo)注的項的個數(shù)；FP表示錯誤將不應(yīng)被標(biāo)注的項標(biāo)注出來的個數(shù)；FN表示漏標(biāo)了應(yīng)被標(biāo)注的項的個數(shù)。

2.3 實驗與分析

2.3.1 不同提示模板對比實驗

為了評估不同提示模板對大語言模型在汽車故障記錄自動標(biāo)注任務(wù)中的表現(xiàn)影響，本文設(shè)計了無樣本提示、結(jié)合行業(yè)示例的少樣本提示和結(jié)合行業(yè)知識的鏈?zhǔn)剿季S提示三種提示模板。并將這三種模板應(yīng)用于DeepSeek、ERNIE和Kimi大語言模型，應(yīng)用模型在表2中表述為“模型名-提示樣本類型”格式，如將無樣本提示模板應(yīng)用在DeepSeek模型中表述為DeepSeek-Zero、將結(jié)合行業(yè)示例的少樣本提示模板應(yīng)用在DeepSeek模型中表述為DeepSeek-Few、將結(jié)合行業(yè)知識的鏈?zhǔn)剿季S提示模板應(yīng)用在DeepSeek模型中表述為DeepSeek-CoT。結(jié)合行業(yè)示例的少樣本提示中統(tǒng)一示例量為20條。根據(jù)該實驗可以分析不同提示模板下三種大語言模型的標(biāo)注效果。

表2不同提示模板下的大語言模型標(biāo)注實驗結(jié)果

根據(jù)表3的實驗結(jié)果可以看出，不同提示模板對大語言模型在汽車故障記錄自動標(biāo)注任務(wù)中的表現(xiàn)有顯著影響。無樣本提示下，DeepSeek、ERNIE和Kimi模型的標(biāo)注效果不佳。而改為結(jié)合行業(yè)示例的少樣本提示后標(biāo)注性能得到了提高，DeepSeek-Few、ERNIE-Few和Kimi-Few相較于無樣本提示版本F1值平均提升17個百分點，該結(jié)果表明在大語言模型標(biāo)注實踐中提供少量結(jié)合行業(yè)示例樣本的有效性。結(jié)合行業(yè)知識的鏈?zhǔn)剿季S提示相對無樣本提示提升了模型的召回能力，但該提示模板存在過度推理、術(shù)語泛化的問題，引發(fā)錯誤標(biāo)注，整體表現(xiàn)弱于結(jié)合行業(yè)示例的少樣本提示模板。

2.3.2大語言模型與傳統(tǒng)模型對比實驗

為了驗證大語言模型在汽車故障記錄標(biāo)注任務(wù)中的優(yōu)勢，本文采用實驗2.3.1中效果最好的DeepSeek-Few模型與傳統(tǒng)的深度學(xué)習(xí)模型CNN、Bi-LSTM和BERT進(jìn)行對比實驗。傳統(tǒng)深度學(xué)習(xí)模型需要數(shù)據(jù)集進(jìn)行訓(xùn)練，因此將本研究數(shù)據(jù)集按照8：2的比例分配為訓(xùn)練集和測試集進(jìn)行實驗，DeepSeek-Few提示模板中的樣本示例數(shù)量為20條。實驗結(jié)果如表3所示。

表3汽車故障記錄自動標(biāo)注對比實驗結(jié)果

根據(jù)表3分析可知，相比傳統(tǒng)深度模型，基于結(jié)合行業(yè)示例少樣本提示模板的大語言模型所需樣本示例更少，但在標(biāo)注任務(wù)中表現(xiàn)更優(yōu)。DeepSeek-Few模型在F1值中相較于傳統(tǒng)模型中表現(xiàn)最好的BERT高出 3.02% ，精確率和召回率也都有所提升。該實驗展現(xiàn)出大語言模型在文本自動標(biāo)注任務(wù)中的可行性和有效性。

2.3.3少樣本數(shù)量對標(biāo)注的影響實驗

在實際應(yīng)用中，標(biāo)注數(shù)據(jù)的獲取成本較高，因此少樣本學(xué)習(xí)在自動標(biāo)注任務(wù)中具有重要意義。本實驗旨在評估在結(jié)合行業(yè)示例少樣本提示模板下，提供不同數(shù)量的示例樣本對模型自動標(biāo)注效果的影響。實驗設(shè)置了五種不同示例規(guī)模：0條（Zero-shot）、2條、5條、10條、15條和20條，用于評估大語言模型在不同數(shù)據(jù)依賴程度下的性能表現(xiàn)。所有示例均來自專家交叉標(biāo)注的行業(yè)數(shù)據(jù)，具有代表性和一致性。

如圖4所示，隨著樣本示例規(guī)模增大，三種大語言模型的F1值總體呈上升趨勢，體現(xiàn)了示例樣本數(shù)量對模型性能的積極影響。但當(dāng)樣本示例在15條增加至20條時，F(xiàn)1值提升速度明顯變緩。其中，DeepSeek模型在從15條示例增加至20條示例時，F(xiàn)1值僅提升1.25% ，相較于樣本示例從10條增加到15條時F1值增長 5.52% 的提示幅度明顯減小。Kimi模型性能變化趨勢類似于DeepSeek，表現(xiàn)出相似的增長放緩現(xiàn)象。而ERNIE模型則在樣本示例從15條增長到20條時F1值反而降低了 1.15% ，這種現(xiàn)象表明模型當(dāng)樣本示例數(shù)量達(dá)到20條時，已基本掌握了任務(wù)的主要特征。此時繼續(xù)增加樣本數(shù)量可能會帶來訓(xùn)練成本的增加，且可能引發(fā)性能的飽和或下降。因此，本文其余實驗應(yīng)用結(jié)合行業(yè)示例的少樣本提示模板時均使用20條示例版本，以達(dá)到大部分模型中的最佳效果。

圖4不同樣本數(shù)量下模型的F1值表現(xiàn)

3結(jié)論

本文提出了一種基于大語言模型的汽車故障記錄自動標(biāo)注方法。該方法利用大語言模型的文本理解和生成能力，通過設(shè)計提示模板，引導(dǎo)大語言模型自動識別和標(biāo)注故障記錄中的關(guān)鍵數(shù)據(jù)。為了評估方法的有效性，實驗設(shè)置了三種不同的提示模板。實驗結(jié)果表明，結(jié)合行業(yè)示例的少樣本提示模板在汽車故障記錄自動標(biāo)注任務(wù)中表現(xiàn)最佳。與傳統(tǒng)深度學(xué)習(xí)方法BERT模型相比，基于結(jié)合行業(yè)示例的少樣本提示模板的大語言模型能夠降低對人工標(biāo)注的依賴，同時在標(biāo)注任務(wù)的精確率、召回率和F1值表現(xiàn)上均有約3個百分點的提升。此外，本文還對比了三種大語言模型在標(biāo)注任務(wù)中的表現(xiàn)，研究發(fā)現(xiàn)DeepSeek在文本標(biāo)注任務(wù)中具有最佳性能。實驗結(jié)果充分證明了大語言模型在特定領(lǐng)域文本數(shù)據(jù)標(biāo)注任務(wù)中的可行性和有效性，為其在未來各類垂直行業(yè)的應(yīng)用奠定了基礎(chǔ)，具有重要的實際意義和發(fā)展?jié)摿Α?/p>

參考又默：

[1]陳鏡冰.面向非結(jié)構(gòu)化文本的網(wǎng)絡(luò)威脅情報信息抽取方法研究與實現(xiàn)[D].北京：北京郵電大學(xué)，2024.

[2]任安琪，柳林，王海龍，等.面向文本實體關(guān)系抽取研究綜述[J].計算機(jī)科學(xué)與探索，2024，18（11）：2848-2871.

[3]胡杭樂，程春雷，葉青，等.開放信息抽取研究綜述[J].計算機(jī)工程與應(yīng)用，2023，59（16）：31-49.

[4]朱小龍，邱林.機(jī)器學(xué)習(xí)下半結(jié)構(gòu)化文本信息抽取仿真[J].計算機(jī)仿真，2023，40（2）：540-544.

[5] ZHAO L J，QIU X P，ZHANG Q，et al. SequenceLabelingWithDeepGatedDual PathCNN[J].IEEE/ACMTransactions on Audio， Speech， and Language Processing，2019，27（12）：2326-2335.

[6] ALZAIDY R，CARAGEA C，GILES C L. Bi-LSTM-CRF Sequence Labeling for Keyphrase Extraction from ScholarlyDocuments [C]/The World Wide Web Conference.San Francisco：ACM，2019：2551-2557.

[7]孫爭艷，張順香，陳磊，等.基于BERT語義增強(qiáng)的因果關(guān)系抽取模型[J].計算機(jī)工程與設(shè)計，2024，45（12）：3758-3763.

[8] 黃睿，趙昶銘，李漢清，等.基于視覺大模型的智能駕駛數(shù)據(jù)自動標(biāo)注方法[C]//第三十一屆中國汽車工程學(xué)會年會暨展覽會（SAECCE 2024）.重慶：中國汽車工程學(xué)會，2024：263-270.

[9] DEEPSEEK-AI，GUO DY，YANG D J，et al.DeepSeek-R1： Incentivizing Reasoning Capability in LLMsvia Reinforcement Learning [J/OL].arXiv：2501.12948 [cs.CL].（2025-01-22） .https：//arxiv.0rg/abs/2501.12948.

[10] SUNY，WANG SH，F(xiàn)ENG SK，et al.ERNIE3.0： Large-scale Knowledge Enhanced Pre-training for LanguageUnderstanding and Generation [J/OL].arXiv：2107.02137 [cs.CL].（2021-07-05）.https：//rxiv.org/abs/2107.02137.

[11]QINRY，LIZM，HEWR，etal.Mooncake：AKVCache-centric Disaggregated Architecture for LLM serving [J/OL].arXiv：2407.00079 [cs.DC]. （2024-06-24） .https：//arxiv.org/abs/2407.00079.

[12]陳文泰，張帆.提示詞構(gòu)成要素對大語言模型跨模態(tài)內(nèi)容生成質(zhì)量的影響研究一一基于訊飛星火大模型文生圖功能的探索性實驗[J].鄭州大學(xué)學(xué)報：哲學(xué)社會科學(xué)版，2025，58（2）：99-104.

[13] RUBIN O，HERZIG J，BERANT J. Learning toRetrieve Prompts for In-context Learning [J/OL].arXiv：2112.08633[cs.CL]. （2021-12-16） .https：//arxiv.0rg/abs/2112.08633.

作者簡介：戴雅雯（1997—），女，漢族，蕪湖人，助教，碩士研究生，研究方向：自然語言處理；趙悅（1996—），女，漢族，宿州人，助教，碩士研究生，研究方向：圖像加密；張琳（1984一），女，漢族，宣城人，副教授，碩士研究生，研究方向：計算機(jī)應(yīng)用技術(shù)。