基于多源數(shù)據(jù)采集融合的食品安全風險模型研究

汪榕 丁洪鑫 周維

摘要： 食品安全的風險趨勢分析對于及時發(fā)現(xiàn)食品安全隱患具重要意義。針對食品安全監(jiān)管中數(shù)據(jù)零散、信息封閉、消息滯后所導致的效率難點問題，提出了結合多源異構數(shù)據(jù)的食品質(zhì)量安全風險模型。以多源數(shù)據(jù)采集匯集技術為基礎，利用數(shù)據(jù)治理方法，結合主題域模型、顯著性分析模型和綜合性評價分析模型，通過組合這三個模型，共同實現(xiàn)食品安全合規(guī)的自動預測，取得了良好的效果。

關鍵詞： 多源數(shù)據(jù)采集匯集； 數(shù)據(jù)治理方法； 主題域模型； 食品安全風險模型

中圖分類號：TS201.6；TP391.1? ? ? ? ? 文獻標識碼：A? ? ? 文章編號：1006-8228（2023）04-106-06

Abstract： The risk trend analysis for food safety has a significant meaning in discovering potential danger of food safety in time. To solve the efficiency problems caused by fragmented data， closed and lagging information， a risk variation tendency analysis model for food safety based on multi-source heterogeneous data is proposed. By using multi-source data acquisition technique and standardized methods of data governance， we combined the subject model， significance analysis model and comprehensive evaluation model to implement the automatic prediction for food safety. Good results have been achieved.

Key words： multi-source data acquisition technique; standardized methods of data governance; subject model; risk variation tendency analysis model for food safety

0 引言

國家對食品安全問題十分重視，制定了食品安全指標，但仍然存在零散性、封閉性和滯后性三個缺陷[1]。本研究結合多源數(shù)據(jù)采集匯集、數(shù)據(jù)標準化治理、數(shù)據(jù)融合分析、食品安全主題域模型、顯著性分析模型和綜合評價分析模型等技術，建立食品安全趨勢分析模型進行風險控制，實現(xiàn)了將食品安全監(jiān)管數(shù)據(jù)、食品安全輿情數(shù)據(jù)和新聞媒體報道數(shù)據(jù)的融合分析，使得食品安全的各領域質(zhì)檢人員直觀地獲得自己需要的食品安全風險趨勢信息，提高食品安全風險預警的準確性和實效性，為食品流通階段的風險控制創(chuàng)造有利條件。

1 大數(shù)據(jù)采集匯集與融合分析技術應用

目前，大數(shù)據(jù)已基本應用到我國食品安全領域的各個角落，采用互聯(lián)網(wǎng)采集技術、數(shù)據(jù)標準化治理技術和數(shù)據(jù)融合分析技術，可以解決食品安全數(shù)據(jù)的“采、治、管、存和用”的問題，實現(xiàn)對食品生產(chǎn)、加工、運輸、包裝、存儲等方面質(zhì)量問題的監(jiān)管，理論上實現(xiàn)對食品全流通階段的全面風險控制[2]。

根據(jù)圖1可知，本研究的多源異構數(shù)據(jù)來源主要集中于食品安全監(jiān)管數(shù)據(jù)、微博食品輿情數(shù)據(jù)和新聞媒體報道數(shù)據(jù)。利用互聯(lián)網(wǎng)數(shù)據(jù)采集技術，去實時將各網(wǎng)站數(shù)據(jù)進行采集和存儲到關系型數(shù)據(jù)庫中，再通過數(shù)據(jù)集成組件將關系型數(shù)據(jù)庫中的數(shù)據(jù)集成到大數(shù)據(jù)平臺的數(shù)據(jù)湖中，并結合數(shù)據(jù)標準化治理的手段來進行缺失值數(shù)據(jù)處理、錯誤數(shù)據(jù)處理、關聯(lián)性數(shù)據(jù)驗證和不規(guī)范數(shù)據(jù)處理等，最終通過設計食品安全主題域模型、顯著性風險模型和綜合分析模型去構建完整的食品安全趨勢分析模型。

1.1 多源數(shù)據(jù)采集匯集方法

針對食品安全數(shù)據(jù)采集場景，除了常見的食品安全監(jiān)管局網(wǎng)站外，還有可能對微博數(shù)據(jù)開放平臺進行接口采集，以及直接爬取各地方新聞媒體數(shù)據(jù)。因此，面對錯綜復雜的食品安全數(shù)據(jù)采集場景，針對不同數(shù)據(jù)源，選擇合適的數(shù)據(jù)采集技術是至關重要的，具體場景下的采集技術選型如表1所示。

結合食品安全風險趨勢分析的數(shù)據(jù)源情況及數(shù)據(jù)需求，設計數(shù)據(jù)采集解決方案技術架構如圖2所示。

通過多源數(shù)據(jù)采集架構，完成數(shù)據(jù)采集、存儲和管理，為后續(xù)標準化數(shù)據(jù)治理做好準備。

1.2 食品安全數(shù)據(jù)處理方法

食品安全多源數(shù)據(jù)采集完成后，接下來是食品安全數(shù)據(jù)的標準化處理[3]，主要是針對食品安全數(shù)據(jù)中存在的缺失值數(shù)據(jù)處理場景、錯誤數(shù)據(jù)處理場景、關聯(lián)性數(shù)據(jù)驗證場景和不規(guī)范數(shù)據(jù)處理場景，具體的數(shù)據(jù)標準化處理流程圖如圖3所示。

對于具體的食品安全數(shù)據(jù)標準化處理規(guī)則，它是開展數(shù)據(jù)標準化治理工作前期的預判斷環(huán)節(jié)，通過預先配置的數(shù)據(jù)標準處理規(guī)則，一方面可以節(jié)省食品安全數(shù)據(jù)標準化處理的效率，另一方面可以評估食品安全原始數(shù)據(jù)源的數(shù)據(jù)質(zhì)量情況。

而對于食品安全數(shù)據(jù)存在的四種治理場景，具體處理方法如表2所示。

1.3 食品安全風險主題域模型設計方法

在食品安全數(shù)據(jù)標準化治理完成后，需要先構建食品安全風險主題域模型。考慮到食品領域的種類非常復雜，具體包括主食、肉類、蔬菜、水果、水、飲料、各種調(diào)味劑等，本研究的食品安全主題域模型設計是參考國際食品法典委員會（CAC）食品分類標準，將食品安全風險主題域模型設計按照六個層次來分類，分別是生產(chǎn)地、檢測地、檢測時間、食品分類、檢測指標和輿情監(jiān)控。這種分類方式有利于不同時期，不同地域，不同種類的食品安全風險趨勢分析的相互轉換和組合，總體框如圖4所示。

加強食品安全風險信息的管理，有助于實現(xiàn)食品安全問題的早發(fā)現(xiàn)、早研判、早預警和早處理。

2 食品安全風險趨勢分析模型建立

2.1 食品安全顯著性分析模型建立

2.1.1 各類食品指標的標準化方法

在上述研究的基礎上，要對不同食品種類的數(shù)據(jù)進行比較，可先將它們分別標準化，轉化成無量綱的標準化數(shù)據(jù)，因而可以借助于標準化方法來消除數(shù)據(jù)量綱的影響。標準化公式為：

其中，[xi]指不同食品種類檢測的實際數(shù)據(jù)，[yi]指標準化后的檢測數(shù)據(jù)，而[x=1ni=1nxi]表示檢測指標的求和平均值，[s=1n-1i=1n（xi-x）2]表示檢測指標的標準差。因此指標實際值與評價值的最終關系如圖5所示。

可以看出，無論指標的實際值如何，指標的評價值總是分布在零的兩側。指標實際值比平均值大的，其評價值為正，反之為負。為了更符合習慣，我們可以將食品種類的合格率轉化為百分數(shù)形式，比如用公式：

均值轉化為60，超過均值的轉化為60以上，反之則在60以下。這種“百分數(shù)”還不同于一般的百分數(shù)，因為個別極端數(shù)值的轉化只可能超過[0，100]區(qū)間。

2.1.2 顯著性分析模型建立的準備

可信度（reliability），可以定義為統(tǒng)計測量的響應中可變性的比例。根據(jù)樣本個數(shù)的不同，最初的可信度評價等級已經(jīng)不能很好的詮釋多樣本下的指標權重比例，因此本文在原來的基礎上做了如下改進：

其中，[ni]為每個樣本數(shù)，公式中求其總數(shù)值。[ω]為標準權重水平，[ωi]為樣本指標的權重值，[ωi]為改進后的劃分權重值。

為了對可信度進行等級劃分，利用式⑶和式⑷，表5給出了主觀可信度的等級劃分：

因此，從主觀可信度矩陣可以看出，在給出可信度時，僅需給出主觀可信度矩陣的上（或者下）二角的元素即可，由于主觀可信度矩陣C與判斷矩陣A的元素一一對應，對矩陣C作列和歸一化操作，即可得到每一列判斷的主觀可信度權重，即

2.2 食品安全綜合性分析模型建立

通過上述的求解結果，結合食品安全數(shù)據(jù)的分析，本文通過將不合格比率進行劃分，從而確定每次抽檢各類食品安全指標不合格的程度。

根據(jù)安全指標處理后的數(shù)據(jù)特點，我們結合Liker等級分類原理進行等級劃分，其區(qū)間劃分如表4。

在綜合評價時，如果遇到定性的指標，這些指標必須經(jīng)過處理才能與其他量化指標一起運用。因此，我們結合食品種類的風險監(jiān)測指標進行變化趨勢分析。

2.3 食品安全風險趨勢分析模型建立

在上述步驟之后，挑選不同的食品種類，分析其食品安全風險趨勢最大的影響因子，并通過Python對其變化趨勢進行深入分析，最終決定選擇指數(shù)平滑的時間序列算法作為食品安全風險趨勢分析的技術實現(xiàn)[4]，模型的建立具體如下。

3 實驗與測評

3.1 數(shù)據(jù)準備

本論文以市場監(jiān)督管理局網(wǎng)站的食品安全監(jiān)管數(shù)據(jù)、微博食品輿情數(shù)據(jù)和新聞媒體報道數(shù)據(jù)[5]為研究對象，其數(shù)據(jù)范圍覆蓋了豆制品、熟肉制品、調(diào)味品、蔬菜、蛋制品、休閑食品和酒水類等食品種類的抽樣檢測數(shù)據(jù)。原始數(shù)據(jù)共包含了23552條數(shù)據(jù)，每條數(shù)據(jù)包含了生產(chǎn)地、檢測地、檢測時間、食品分類、檢測指標和輿情監(jiān)控等字段。針對食品安全風險趨勢分析的預測需求，我們從原始數(shù)據(jù)中提取了所有字段用于構建數(shù)據(jù)集[6]。

我們對原始數(shù)據(jù)進行標準化數(shù)據(jù)治理，在大數(shù)據(jù)平臺中構建了原始區(qū)、標準區(qū)、主題區(qū)和專題區(qū)，其中原始區(qū)構建目的是存儲源數(shù)據(jù)，保持貼源1：1原則。標準區(qū)構建目的是為了針對原始數(shù)據(jù)開展標準化數(shù)據(jù)治理工作，提升食品安全數(shù)據(jù)質(zhì)量。主題區(qū)構建目的是為了圍繞食品安全對象去設計主題域模型，解決食品安全多源數(shù)據(jù)融合分析的問題。專題區(qū)構建的目的是為了支撐食品安全風險趨勢分析模型的建立，提供數(shù)據(jù)服務支撐。

3.2 實驗結果

3.2.1 顯著性分析模型求解

在此基礎上，為了支撐最終模型的構建，我們首先對各類食品檢測指標數(shù)據(jù)進行了無量綱化處理，得到豆制品（A）、熟肉制品（B）、調(diào)味品（C）、蔬菜（D）、蛋制品（E）、休閑食品（F）和酒水類（G）等食品種類在最近三年不合格率的風險得分矩陣，再結合變量相關性模型公式（5）求解得到分類食品所占的權重比，最終篩選出顯著性食品種類進行指標變化趨勢分析[7]。

通過如上的表格，利用公式⑸計算出豆制品、熟肉制品、調(diào)味品、蔬菜、蛋制品、休閑食品和酒水類的權重如下所示：

（0.0944，0.0179，0.4549，-0.0093，0.0320，0.1599，0.1075）

通過分析所劃分后的權重值大小，我們得到在食物種類的豆制品，調(diào)味品，休閑食品和酒水類樣本中，他們的可靠性評估標準為非常有把握和完全有把握，因此本文接下來將對這四類食物種類進行風險趨勢變化分析。

3.2.2 綜合性分析模型求解

通過上述的求解結果，我們將挑選四類食品的風險指標在最近三年內(nèi)的不合格比例統(tǒng)計出來，再結合采用Liker四級量表，將食品指標的合格程度分成四級，分別是：第I類、第II類、第III類和第IV類，相應賦值為4、3、2、1。在綜合評價時，這些定性指標的信息必須經(jīng)過處理才能一起使用，因此我們利用上述定性指標的量化公式⑹進行處理[8]，最終得到安全指標在剩余四類食品所影響的風險趨勢得分如下所示：

通過上述表所給的信息，我們可以得到在豆制品，調(diào)味品，蛋制品和酒水類食物中，其顯著指標分別為微生物、食品添加劑、抗生素和微生物，因此，我們結合所篩選出來的指標進行變化趨勢分析。

3.2.3 風險趨勢分析模型求解

結合上述步驟并考慮求解過程的一致性，我們這里只針對酒水類進行求解，對酒水類中所給的風險趨勢指標數(shù)據(jù)進行曲線擬合[9]，考慮到數(shù)據(jù)的正負號，首先通過公式⑵進行負向指標正向化處理，最后再利用Python求解結果如下所示：

由圖6可知，預測的檢測指標合格變化趨勢呈現(xiàn)緩慢增長，基本與實際情況相吻合。反推可知食品安全不合格率的趨勢變化情況，為食品安全流通各環(huán)節(jié)提供有力的監(jiān)管支撐[10]。

4 結束語

本文采用多源數(shù)據(jù)采集匯集技術、數(shù)據(jù)治理方法、食品安全顯著性分析模型和食品綜合性分析模型結合的方法實現(xiàn)食品安全風險趨勢分析的自動預測。其中多源數(shù)據(jù)采集匯集技術和數(shù)據(jù)治理方法是本文研究的核心，通過對多源異構數(shù)據(jù)進行采集、匯集、治理和融合處理，保障了數(shù)據(jù)處理的實效性以及數(shù)據(jù)質(zhì)量的可靠性。同時在模型構建的環(huán)節(jié)，本研究沒有使用單一的模型對問題進行分析求解，而是綜合運用了多種數(shù)學模型，并增加了一定的檢驗環(huán)節(jié)，提高了數(shù)據(jù)的合理性，同時也增加了研究的價值。實驗表明，本文提出的多源數(shù)據(jù)采集融合的食品安全風險模型在合格率預測中表現(xiàn)較好，即本文模型對食品安全監(jiān)測達到良好的分類效果。但經(jīng)擴展后的數(shù)據(jù)與真實數(shù)據(jù)仍存在差異，這也是后期模型待解決的問題，后續(xù)我們將工作重點投入到有效的數(shù)據(jù)擴展中，提高預測的準確率。

參考文獻（References）：

[1] 郝記明，馬麗艷，李景明.食品安全問題及其控制食品安全的措施[J].食品與發(fā)酵工業(yè)，2004，30（12）：63-66

[2] 肖輝，任鵬程，肖革新，等.食品安全健康大數(shù)據(jù)平臺構建[J].醫(yī)學信息學雜志，2016，37（5）：28-31

[3] 郭曙超，龔方，昃向君，等.食品安全檢測數(shù)據(jù)倉庫技術的應用于研究[J].食品研究與開發(fā)，2013，34（17）：125-127

[4] 王雅潔，楊冰，羅艷，等.大數(shù)據(jù)挖掘在食品安全風險預警領域的應用[J].安徽農(nóng)業(yè)科學，2015，43（8）：332-334

[5] 張曉勇，李剛，張莉.中國消費者對食品安全的關切——對天津消費者的調(diào)查與分析[J].中國農(nóng)村觀察，2004，9（1）：14-21

[6] MITCHELL R.Web scraping with python：collecting more data from the modern web[M].2nded.Sebastopol：O'Reilly，2018：122-125

[7] MAATEN L，HINTONG.Visualizing data using t-SNE[J].Journal of Machine Learning Research，2008，9（86）：2579-2605

[8] KRAWCZYK B.Learning from imbalanced data：open challenges and future directions[J].Progress in Artificial Intelligence，2016，5（4）：221-232

[9] ETHEM A.Machinelearning：the new AI[M].[s.l.]：MitPress，2016：1-30

[10] Yongming Han. Food quality and safety risk assessment using a novel HMM method based on GRA[J]. Food Control，2019（105）：180-189

*基金項目：國家自然科學基金項目（U20B2069）

作者簡介：汪榕（1993-），男，貴州安順人，學士，工程師，主要研究方向：大數(shù)據(jù)技術、數(shù)據(jù)挖掘、數(shù)據(jù)治理。