基于知識圖譜的炒貨食品抽檢數據可視化系統研究

喬青青，郝莉花*，馬江濤，羅莉，仝瑩瑩

1. 河南省產品質量監督檢驗院（鄭州 450000）；2. 鄭州輕工業大學（鄭州 450000）

《食品安全法》明確提出我國對食品安全的管理由被動應對向主動預防轉變，而預防機制基礎就是食品安全大數據的應用[1]。

在我國，《關于“十三五”時期加強食品藥品監管網絡安全和信息化建設的指導意見》等多個文件[2-4]要求推進食品安全大數據建設。

《中共中央國務院關于深化改革加強食品安全工作的意見》[5]中指出“完善抽檢監測信息通報機制，依法及時公開抽檢信息”，這也為大數據在食品抽檢領域分析提供了政策支持。

自食品安全抽檢信息發布以來，目前已公布690萬余批次的抽檢結果[6]，但傳統的數據分析較為簡單[7-8]，無法滿足智能監管的需求。

作為傳統的休閑食品，近年來炒貨制品的質量問題也受到廣泛關注[9-11]。從公布的抽檢結果看[12-14]，炒貨食品的不合格率較高，加強對炒貨食品監管尤為重要。

網絡爬蟲技術可用于收集媒體網頁中的數據，抓取有效信息并加以存儲[15]。Neo4j數據庫是一種以圖的形式來存儲信息的非關系存儲數據庫，相比傳統數據格式，Neo4j數據庫信息更加直觀[16-17]。知識圖譜（knowledge graph，KG）是以圖的形式表現客觀世界中的實體（概念、人、事物）及其之間關系的知識庫[18-20]。

此次研究以已公布炒貨食品抽檢數據為基礎，建立基于Neo4j及Django食品可視化分析系統，為智能化監管提供技術支持。

1 材料與方法

1.1 數據來源

數據來源主要從以下網站獲取：國家市場監管管理局，http：//www.samr.gov.cn/；國家市場監督管理總局食品安全抽檢監測司，http：//www.samr.gov.cn/jg/sjzz/201812/t20181218_278197.html；食品科學網，http：//www.chnfood.cn/；中國食品安全網，https：//www.cfsn.cn/；食安通，http：//www.eshian.com/。

1.2 試驗操作環境及技術

操作系統為Ubuntu 16.04；開發語言為Python 3.5.2；數據庫為Neo4j和MySql；服務器為Django 1.11.8；前端相關API為Echarts，font-awesome，ChinaMap，dataTable和bootstrap等；Python相關API為pymsql，py2neo，PyTorch，jieba，spark，pytz和geoip等。

1.3 系統模塊設計

系統主要包括的數據獲取、數據清洗、數據質量控制、構建知識圖譜、構建系統整體模塊，見圖1。系統結構見圖2。

圖1 系統整體模塊結構圖

圖2 系統整體結構圖

1.3.1 獲取數據模塊

獲取的數據模塊主要使用Scrapy爬蟲收集食品安全相關信息，收集食安通、國家市場監督管理總局、各省份市場監督管理局等網站上的各年食品抽檢不合格信息登記表。

1.3.2 數據清洗模塊

獲取數據后，需要進行數據清洗。數據清洗模塊包括刪除無分析價值抽檢數據（有些抽檢數據缺失值過多，無分析價值）和清理與食品無關的臟值數據。在無分析價值的抽檢數據處理時，抽檢數據中不合格各項和檢測結果缺失數據要進行刪除，被抽檢單位所在地缺失要進行填充，填充的方法為根據被抽檢企業和發布單位數據條中進行地點抽取。與食品無關的臟值數據處理，直接刪除即可。

1.3.3 數據質量控制模塊

數據質量控制需要人工和程序共同完成，人工發現數據的質量出現問題，撰寫程序進行再清洗。

1.3.4 構建知識圖譜模塊

知識圖譜構建要對數據清洗完成后的數據進行實體抽取、關系抽取、屬性抽取、知識消歧、知識對齊、標準知識表示、知識驗證、導入Neo4j數據庫。

1.3.5 構建Django模塊

使用Python的第三方庫django框架，構建django項目。從Mysql中調用構建好的數據集，并調用Neo4j中的數據接入項目接口。

2 結果與分析

2.1 Scrapy爬蟲收集食品安全相關信息

在數據搜集階段項目借助Scrapy框架對食安通（www.eshian.com）、國家市場監督管理總局、各省市場監督管理局官網進行收集，共收集2016—2020年堅果與炒貨食品抽檢不合格信息登記表1 932條。

2.2 數據清洗與整理

用scrapy框架收集到的堅果與炒貨食品數據多為csv表格文件，其內容多包括標稱生產企業名稱、標稱生產企業地址、被抽樣單位名稱、被抽樣單位地址、食品名稱、規格型號、商標、生產日期、不合格項目、檢驗結果、標準值、檢驗機構、備注等。

根據分析需求，序號、商標、備注列沒有分析價值，因此利用pandas庫讀取所有收集到的csv文件并刪除這3列。根據標稱生產企業地址、被抽樣單位地址這2列可以分析出產品的生產地址。根據不合格項目、檢驗結果、標準值可獲得產品不合格項目的分類，因此增加2列，分別為不合格項目分類和產地。并對數據做進一步整理，得到包括產品名稱、型號規格、不合格項目分類、不合格項、年份、產地的數據列。

2.3 數據導入數據庫

2.3.1 數據導入Neo4j數據庫

該模塊借助Neo4j數據庫，對食品抽檢信息分析模塊中的數據進行節點和關系的提取，將基礎數據整合成年份、產品類別、不合格產品、不合格項目、不合格項目分類、省份6個節點，依照節點間的關系生成知識圖譜json文件，通過Ajax技術在瀏覽器端生成知識圖譜，可以借助圖譜更加清晰地看到抽檢不合格數據之間的聯系。詳見圖3。

圖3 堅果及炒貨食品知識圖譜圖

2.4 可視化展示

在這個模塊中對數據按照地區、名稱、年份、超標項目等維度進行統計處理，并且借助ChinaMap，Echarts等前端接口將統計結果以圖表的形式返回給用戶。從收集的堅果與炒貨的數據看，不合格指標分為微生物、污染物、理化指標、食品添加劑4個類別。可視化展示分為7個模塊，模塊數據可動態更新。

2.4.1 不合格省份展示

各省抽檢不合格情況采用3種方式展示，分別為柱狀圖、地圖、扇形圖展示，詳見圖4和圖5。從圖4和圖5中可以直觀看出：堅果與炒貨食品中不合格樣品批次較多的省份為廣東，其次為浙江、江蘇；不合格樣品較多的省份主要集中于南部地區。

圖4 生產省份抽檢不合格柱形圖

圖5 生產省份抽檢不合格扇形圖

2.4.2 各年度不合格情況表

該部分展示的為每年度的抽檢情況及不合格占比。2016—2020年，不合格批次較多的為2018年度，其次為2016年度。詳見圖6。

圖6 抽檢不合格批次年度分布表

2.4.3 不合格產品排名展示

該部分展示的為不合格批次較多的食品類別。從收集數據看，堅果與炒貨食品不合格批次較多的為魚皮花生、開心果、花生米等，詳見圖7。

圖7 抽檢不合格食品品種圖

2.4.4 超標項目類別排名展示

通過此模塊，可展示出不合格的主要指標分類，從目前收集數據看，堅果與炒貨食品中不合格率最高為理化指標，其次為微生物項目。詳見圖8。

圖8 抽檢不合格項目分類圖

3 結論與討論

通過系統的可視化展示，堅果與炒貨食品不合格批次較多的省份主要為廣東、浙江、江蘇等南部省份，主要是由于南部省份氣溫較高，堅果與炒貨食品作為高蛋白、高油脂的食品，在生產、運輸、貯藏及銷售過程中，若環境溫度或保存不當，易造成酸價、過氧化值超標及微生物超標。從不合格樣品看，不合格批次較多的為魚皮花生。魚皮花生是以花生、白糖、面粉為原料加工的食品，花生包裹在以面粉和白糖制作的外殼內。魚皮花生不合格批次較多，有可能是由于該類產品在保存中易造成花生的品質下降，也有可能是生產者在加工時選用品質較差的花生，造成該類產品不合格批次較多。