淺析計算機數據挖掘技術在食品安全風險評估系統中的應用

文 劉然 程曼 天津電子信息職業技術學院

1.研究背景

食品安全是關乎民生、涉及國家經濟、社會穩定發展的重大事項，是人民生命健康的基本保障，然而近年來食品安全事件頻有發生，不但對人民的生命財產安全造成了不可彌補的損失，而且對社會經濟發展造成了極壞的影響。為了有效減少和及時預防此類事件的發生，食品安全風險評估工作就成為監管部門的重中之重。然而目前由于食品種類繁多，人力物力不足和技術水平有限，無法發現檢測數據之間的潛在聯系，對檢測結果的利用率低，存在數據浪費的情況。近年來，數據挖掘技術得到了快速的發展，并且數據挖掘技術能夠對系統中海量的數據進行分析，迅速發現數據之間的相關聯系，將數據挖掘技術應用于食品安全風險評估系統能大大提高提高風險評估工作的效率。本文分析了數據挖掘技術應用于食品安全風險評估系統的可能性和應用意義，描述了數據挖掘技術在食品安全風險評估系統的詳細運用，為數據挖掘技術應用于食品安全風險評估系統提供參考方向。

2.數據挖掘技術研究現狀

2.1 數據挖掘技術產生的背景

數據挖掘是指在計算機領域通過統計、在線分析處理、機器學習等算法技術從大量雜亂無章的數據信息中發現隱含在其中潛在價值信息的過程。數據挖掘技術的產生伴隨著數據庫系統和網絡技術在各行各業的廣泛應用，過去數據庫的作用僅僅是保存一些簡單的數據，20世紀90年代后數據庫技術進入蓬勃發展時期，開始儲存、管理計算機產生的各類復雜數據。為此，數據庫的信息逐漸呈現出海量信息的特征。人們逐漸意識到利用好海量信息可以帶來很大的經濟效益和社會效益，但卻面臨著有效信息難以提取和有用知識容易丟失的難題，無法發現數據中存在的關系和規則。為了解決上述境，數據挖掘技術開始產生，當前數據挖掘已經成為人工智能和數據庫算法的熱點研究領域。

2.2 數據挖掘技術的類型

按照目前學者的研究，數據挖掘可以分為描述性數據挖掘和預測性數據挖掘。描述性數據挖掘即從雜亂無章的數據中查找聯系和規則，進一步客觀的描述數據所屬對象的聯系，例如：分析網民年度消費偏好。預測性數據挖掘即從當前數據中的查找聯系，通過某種規則或順序表達出來，形成預測結果，如網上購物商城分析客戶購買行為之間的聯系，在主頁中推薦客戶可能購買的商品，進而提高商城營業額。數據挖掘也可以分為有指導的數據挖掘和無指導的數據挖掘。有指導的數據挖掘是指利用分類、估值和預測等方式將可利用的數據建立模型，從而進行數據挖掘活動。無指導的數據采取相關性分組、關聯規則和聚類等方法在數據中尋找關系和規則。

2.3 數據挖掘技術的主要方法

近年來，數據挖掘有了長足發展，演變出多種方法對數據進行挖掘，包括分類、回歸分析、聚類、關聯規則、特征分析、偏差分析、Web 頁挖掘等，這些方法從不同的角度對數據進行挖掘，從海量數據中找到人們認為有用的信息，為各行各業的發展提供了一定的幫助。

3.數據挖掘技術應用于食品安全風險評估系統的可能性

近年來，食品安全風險評估逐漸引起人們的重視，我國于2011年成立了食品安全風險評估中心對食品污染物和有害物質進行監測和評估。目前食品安全風險評估工作已經在全國廣泛開展，各類風險監測技術機構已有上千家，形成了涵蓋食品生產、流通所涉及的原料、輔料、成品和包裝等領域已達百萬級的數據。但是，由于我國食品安全管理部門涉及多個部門，而每個部門又都有自己的信息系統，導致數據無法暢通共享，存在很嚴重的安全隱患和資源浪費現象。另外，在食品安全風險評估方面也沒有較好的算法系統，不能真正做到防患于未然。從這幾個方面講，傳統的辦法已無法滿足當今社會對食品安全風險評估工作的需求，而計算機挖掘技術的誕生就是為了處理海量數據，可以快速找到雜亂無章數據中的關聯，從而發現潛在的食品安全風險，為全面迅速開展食品安全風險評估工作提供了可能性。

4.數據挖掘技術應用于食品安全風險評估的意義

4.1 解決食品安全評估系統多種數據庫之間數據不能共享問題

食品安全風險評估中心是通過分析農業、衛生等多部門收集的信息統籌研判我國食品安全總體形式，這就意味著食品安全風險評估系統的數據來源多個部門和機構，而事實上各級各類機構的信息系統基本都是根據自身工作需求進行設計的，在功能和界面上存在較大差異，各個系統數據存儲方式、處理方式也不盡相同，數據共享存在一定難度，導致我國食品安全評估系統信息存在巨大漏洞。數據挖掘技術可以很好地解決多種數據庫之中數據難以處理的問題，大大提高食品安全數據的利用率，提升食品安全風險評估系統的準確度。

4.2 解決食品安全風險評估系統難以處理海量數據的問題

目前，食品安全風險評估工作已經在全國范圍內開展，不僅形成了國家、省、市、縣四級監測系統，而且各類食品安全風險監測機構也在迅速增加，涵蓋了食品從農田到老百姓餐桌的各個環節，食品安全風險評估工作采樣、檢驗和網報能力持續加強。但是這也導致食品安全風險評估系統中的數據每天在以難以想象的速度增加，并且按照國家標準各類食品安全監測信息的保存期限有的長達15年之久，傳統的數據管理系統難以分析如此海量的數據，而利用數據挖掘技術，食品安全風險評估系統可以在既定算法程序的運行下迅速從大量數據中發現危險信息，及時發出警報。從這一方面上看，數據挖掘技術可以解決食品風險評估系統面臨的數據龐大的難題，極大提升食品風險評估工作的工作效率。

4.3 提升食品安全風險評估監測數據的利用率

食品安全風險評估系統的輸出結果都基于食品安全風險監測數據，合理利用食品安全風險監測數據是有效開展食品安全風險評估工作的重中之重。然后，由于食品數目種類和影響食品安全的因素眾多，涉及面極廣，各種原材料和各環節之間某一方面存在食品安全危險因素都將影響最終產出食品的安全性。所以，食品安全風險評估必須對每一種原材料和每一生產環節之間的聯系進行分析。然而，事實上食品安全風險評估系統所使用的傳統數理統計方法只能對現有數據進行簡單分析，無法發現食品安全風險評估檢測數據中有價值的潛在聯系，導致食品安全風險評估檢測結果利用率低，存在嚴重的數據浪費情況，而在食品安全風險評估系統中引入數據挖掘技術可以深度挖掘食物原材料、生產加工環節之間的關系，及時發現食品生產加工環節的安全隱患，大大提升食品安全風險評估系統的功能性。

4.4 降低食品安全風險評估工作成本

傳統食品安全風險評估系統數據庫之間的關系模型非常復雜，在執行運行任務時常常會降低系統性能，導致處理任務耗費時間過長，在處理大批量任務時甚至會出現宕機狀況。為處理傳統食品安全風險評估系統的弊端，以往的解決辦法是不斷增加硬件設備，導致食品安全風險評估工作的時間成本、維護成本、人工成本過高，并且不能從根源上解決問題。現代數據挖掘系統可以通過軟件設施升級，解決系統運行過慢的問題。此外，數據挖掘技術還可以在食品安全風險評估系統運行過程中對系統進行維護，實時對各類食品安全檢測數據和評估結果進行分類管理，從而大大降低了食品安全風險評估工作的成本。

5.數據挖掘技術于食品安全風險評估中的運用

5.1 食品安全風險評估系統檢測數據采集的運用

進行食品安全風險數據挖掘分析最基礎、最關鍵的就是數據的質量問題。食品安全風險評估使用的數據主要來源于各級各類食品安全風險評估中心以及其他食品安全相關行業的檢測數據。各個業務系統中，數據往往沒有統一定義，數據結構通常也存在區別，難免產生數據不一致的情況。數據挖掘技術可通過統一的數據抽取接口，抽取出邏輯清晰且方便后期食品安全風險評估工作所使用的數據類型。除此之外，數據挖掘技術還可以智能解決數據冗余、數據值缺損、數據含有錯誤或者歧義的問題，保證基礎數據的邏輯正確。在得到基礎數據后，數據挖掘技術通過數據泛化、屬性規約、聚集和特征值構造等數據變換技術，將基礎數據變得更加可視化，為縮短后期挖掘算法所需要時間、提高數據挖掘效果奠定基礎。

5.2 食品安全預警風險評估智能分析運用

食品安全風險評估系統最重要的功能就是準確分析潛在的食品安全風險。數據挖掘技術可以通過反復訓練，根據風險因子庫的要求建立最科學穩定的模型，之后食品安全風險評估系統就可以按照既定算法計算出食品的安全權重值，隨后數據挖掘技術迅速將計算出的食品安全權重值與評估系統中預設的專家庫、標準庫、不良反應知識庫進行模糊分類分析和模式識別分析，最后根據食品質量等級的變化趨勢和波動推算出該產品的風險評估等級，做出風險評估預警。另外，數據挖掘技術在食品安全風險評估系統中還可以根據某一安全風險較高的食品關聯與該食品原料、加工、儲存環節存在交集的食品，快速發布相關信息，及時對關聯食品進行全過程安全風險評估監測，確保第一時間發現所有可能的食品安全風險。

5.3 食品安全風險評估系統管理運用

傳統食品風險評估系統管理功能比較簡單，因此，在開展管理運行工作時需要耗費大量的人工。數據挖掘技術應用于食品安全風險評估系統后，管理員可以通過系統發布風險評估任務，直接將任務發送至下級部門，任務將直接下達至個人或相關科室。相關人員登陸賬號即可查詢待處理的工作任務，在上傳檢測結果和評估結果時可以選擇表格、圖片和文檔等多種格式，系統將自動提取其中微生物、菌落數、致病菌、添加劑、重金屬、理化指標、農藥殘留等有效信息，對于不合格的數據將標注原因打回原地，合格的數據系統將自動編號保存，同時系統將存儲的數據實時備份，并提供數據恢復機制，以應對突發事件造成的數據丟失，確保數據安全。數據挖掘技術的應用滿足了食品風險評估系統可擴展性、高可靠性、可維護性、安全性、易用性需求，為管理者提供了更便捷的操作方式，發揮了計算機挖掘技術的優勢。

結束語

總而言之，隨著我國現代信息科技的快速發展，食品安全風險評估領域已經實現信息化。與傳統的食品風險評估系統相比，數據挖掘技術更適用于當今社會食品安全風險大數據的分析，能更快、更全面地反映食品安全風險狀況。然而，數據挖掘技術是一門涉及面廣、專業性強、技術難度大的交叉學科，需要各方人員相互配合才能做出更適合食品安全風險評估的數據挖掘算法。因此，食品安全風險評估部門要給予足夠的重視，促進計算機數據挖掘技術在食品安全風險評估系統中的深入應用。